xtuner

训练千亿 MoE 模型,省显存又提速

XTuner 是一个专为超大规模 MoE(混合专家)模型设计的下一代训练引擎。它解决了传统训练框架在 MoE 模型上显存占用高、训练效率低、扩展性差的问题,提供高效的内存管理、灵活的并行策略和优化的通信机制。核心能力包括:支持千亿级参数 MoE 模型的预训练与微调、自动化的模型并行与数据并行调度、以及针对 MoE 稀疏激活特性的计算优化。基于 Python 实现,易于集成到现有深度学习生态,帮助研究者和工程师在有限资源下训练更大规模的模型。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 5203
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队InternLM
所属国家
官网地址
定价模式free
价格说明开源项目,Apache-2.0许可,可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent,deepseek-v3,gpt-oss,intern-s1,internvl,kimi-k2,llm,multimodal,qwen3-moe,qwen3-vl,reinforcement-learning
GitHub 星标★ 5203
30天Star增速
HF 下载量
上线时间2023-07-11 00:00:00
最近更新2026-09-21 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

使用教程

难度:高级 约 10 分钟 部署方式:库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目基于 Python 实现)
  • 可支持超大规模 MoE 训练的 GPU 资源
  • 按仓库最新文档准备对应深度学习依赖

安装与启动步骤

  1. 1克隆仓库

    从 GitHub 获取 XTuner 源码,README 中给出的项目地址为 InternLM/xtuner。

    git clone https://github.com/InternLM/xtuner.git
  2. 2进入目录

    切换到克隆下来的项目根目录,准备查看仓库内的说明文件。

    cd xtuner
  3. 3阅读中文说明

    README 提供了简体中文入口 README_zh-CN.md,先阅读以获取安装与使用指引。

    cat README_zh-CN.md
  4. 4查找安装指引

    当前 README 节选未包含安装命令,需在仓库文档或源码中查找安装方式,勿执行未知命令。

如何确认成功

README 未提供启动验证方式,需以官方最新文档为准;若按仓库指引安装成功,可正常导入 xtuner 模块。

常见问题

Q:XTuner V1 支持多大的 MoE 模型?

A:README 称 200B 规模 MoE 无需专家并行,600B 模型仅需节点内专家并行。

Q:支持多长序列训练?

A:README 称可在 64k 序列长度下训练 200B MoE 模型,无需序列并行。

Q:是否支持 DeepSpeed?

A:README 提到完整支持 DeepSpeed Ulysses 序列并行,最大序列长度可线性扩展。

Q:XTuner V1 何时发布?

A:2025/09 发布,是面向超大规模 MoE 模型的下一代训练引擎。

注意事项

  • 当前 README 节选未提供 pip/conda/docker 等安装命令,请以仓库最新文档为准。
  • XTuner V1 面向超大规模 MoE 训练,需要匹配的 GPU 资源与并行环境。
  • README 提到 Dropless 训练、长序列支持与 DeepSpeed Ulysses 序列并行等特性,部署前建议确认硬件与依赖满足要求。

核心亮点

  • 针对 MoE 稀疏激活优化,训练速度显著提升
  • 内存管理高效,支持更大模型规模
  • 并行策略自动化,降低分布式训练门槛

不足之处

  • 文档/社区待观察
  • 生态相对较新,周边工具链尚不完善

适用场景

  • 大规模 MoE 模型预训练
  • MoE 模型高效微调
  • 资源受限环境下的超大模型训练

替代项目

DeepSpeed、Megatron-LM、FairScale

项目介绍

xtuner 是模型训练领域的开源项目,由 InternLM 开发,2023 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(5,203)位列前 9%,在模型训练分类的 522 个项目里位列前 10%。

近 41 天,它的 GitHub 星标从 5,177 增加到 5,203,净增 26。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-21。Apache-2.0许可,可免费使用和部署。

它主要面向的使用场景是:大规模MoE模型预训练。同类可对比的替代方案包括 DeepSpeed、Megatron-LM、FairScale。

上一篇:alignment-handbook

下一篇:EasyR1

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列,训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性,长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型,练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13