项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 821
使用教程
环境要求
- Python 3.10+
- PyTorch
- 单卡即可
安装与启动步骤
-
1克隆
从零实现 MoE 的教学仓库。
git clone https://github.com/AviSoori1x/makeMoE.git cd makeMoE -
2装依赖
torch 为主，单卡即可。
pip install torch numpy -
3跑训练
小语料上验证路由与负载均衡。
python train.py -
4看专家分布
检查各专家是否被均匀使用。
# 打印 routing 统计
如何确认成功
训练后各专家激活次数没有严重倾斜。
注意事项
- 配套有 HuggingFace 博客逐步讲解，先读再跑。
- 专家塌缩是 MoE 最常见的坑，看路由分布。
- 教学规模小，别拿来直接训大模型。
核心亮点
- 从零手写，无黑盒依赖，代码透明易读
- 聚焦 MoE 核心机制，门控和负载均衡讲解清晰
- Notebook 形式，可交互运行，适合边学边练
不足之处
- 仅教学用途，不适用于实际生产任务
- 文档和社区支持有限，扩展内容较少
适用场景
- 学习 MoE 架构原理，动手实现加深理解
- 作为课程或工作坊的实战教材
- 研究稀疏模型时快速验证想法
替代项目
makemore、Mixtral-8x7B、Switch Transformer
同类项目推荐
get_model
开源
模块化建模跨细胞类型转录调控，多模态数据一键训练
A modular framework for multimodal cross-cell-type transcriptional regulation models
self-llm
开源
手把手教你微调部署开源大模型，中文教程一步到位
《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调（全参数/Lora）、部···
azure-databricks-mlops-mlflow
开源
在 Azure Databricks 上快速搭建不依赖 MLflow Project 的 MLOps 流程
Azure Databricks MLOps sample for Python based source code using MLflow without usin···
shortened-llm
开源
压缩LLM，推理提速，显存减半，生成依旧流畅。
Compressed LLMs for Efficient Text Generation [ICLR'24 Workshop]
PRIME
开源
让大模型学会深度推理，强化学习训练一步到位
Scalable RL solution for advanced reasoning of language models
ZO-LLM
开源
用零阶优化在低显存下微调大模型，省内存不省效果
[ICML‘24] Official code for the paper "Revisiting Zeroth-Order Optimization for Mem···
transformer-tricks
开源
查Transformer加速技巧，少走弯路，直接上手
A collection of tricks and tools to speed up transformer models
raft
开源
微调+RAG双阶段，让AI代理精准模仿特定人物
RAFT, or Retrieval-Augmented Fine-Tuning, is a method comprising of a fine-tuning an···
PERSIA
开源
多机并行训练大规模推荐模型
High performance distributed framework for training deep learning recommendation mod···