Tutel

让 MoE 大模型训练更快更省显存，支持 FP8/FP4 低精度。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署模型训练 🍴 复刻 111 🐛 待处理 55 👀 关注 18

GitHub ↗

GitHub 星标 ★ 1029

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源免费，无在线服务

项目预览

项目数据

分类模型训练

开发团队microsoft

GitHubhttps://github.com/microsoft/Tutel

定价模式🏷️完全免费

价格说明开源免费，无在线服务

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言C

技术栈/模型deepseek,llm,mixture-of-experts,moe,pytorch

GitHub 星标★ 1029

上线时间2021-08-06 00:00:00

代码更新2026-10-21

仓库体积1.5 MB

本站数据更新2026-11-03

维护状态较活跃

收录时间2026-09-16

浏览次数2

项目介绍

Tutel 是微软开源的高性能混合专家（MoE）训练与推理优化库，核心目标是解决大规模 MoE 模型在分布式环境下通信开销大、显存占用高、计算效率低的问题。它通过深度定制的并行策略（专家并行、数据并行、流水并行组合）、通信压缩与计算-通信重叠技术，显著提升 MoE 层的前向与反向吞吐。项目支持 FP8、NVFP4、MXFP4 等低精度格式，并针对 GptOss、DeepSeek、Kimi-K2、Qwen3 等主流 MoE 架构做了适配优化。Tutel 以 C 语言实现核心算子，提供 PyTorch 接口，方便研究者直接替换现有 MoE 层。对于需要训练千亿级 MoE 大模型的团队，Tutel 能降低对高速互联网络的依赖，在同等硬件下获得更高训练效率，是 MoE 系统优化领域较有代表性的开源方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 1029

技术标签

deepseek llm mixture-of-experts moe pytorch

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 15 分钟部署方式：库/依赖 5 步

环境要求

Python 3 环境（README 命令均使用 python3）
pip 包管理工具
git（源码编译方式需要克隆仓库）
本地 C 编译工具链（源码编译需编译 C 扩展）
可用的 GPU 环境（README 提到 A100/A800/H100/MI300 等）

安装与启动步骤

1卸载旧版 Tutel

两条安装路径前 README 都要求先卸载已装的 tutel，避免新旧版本冲突。
```
python3 -m pip uninstall tutel -y
```
2在线安装 Tutel

从 GitHub main 分支直接 pip 安装，关闭构建隔离以便走本地编译流程。
```
python3 -m pip install -v -U --no-build-isolation git+https://github.com/microsoft/tutel@main
```
3克隆源码仓库

选择源码编译方式时，先把 main 分支代码克隆到本地。
```
git clone https://github.com/microsoft/tutel --branch main
```
4源码编译安装

克隆后按 README 给出的路径执行 setup.py，安装到当前用户目录（--user）。
```
python3 ./tutel/setup.py install --user
```
5配置 MOELayer

按 README 的 MOELayer 参数说明传入 gate_type、model_dim、experts 等构建 MoE 层。

关键配置

配置项	必填	说明	示例
`gate_type`	是	门控配置字典或字典列表，含 type、k、capacity_factor 等。	`{'type': 'top', 'k': 2, 'capacity_factor': -1.5}`
`model_dim`	是	MoE 输入张量的通道数。	`1024`
`experts`	是	内置专家网络的字典配置，type 取值如 ffn。	`{'type': 'ffn', 'num_experts_per_device': 1, 'hidden_size_pe`
`parallel_type`	否	MoE 计算的并行方式，可取 auto/data/model。	`auto`
`a2a_ffn_overlap_degree`	否	控制 all_to_all 与计算重叠深度，默认 1 表示不重叠。	`2`
`pad_samples`	否	是否将新输入数据自动填充到历史最大数据量。	`True`