nnscaler

写单卡模型,编译器自动生成多卡并行训练方案

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 26 🐛 待处理 13 👀 关注 8
GitHub ↗
GitHub 星标 ★ 136
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,文档托管于readthedocs

项目预览

nnscaler 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队microsoft
定价模式🏷️完全免费
价格说明开源免费,文档托管于readthedocs
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型compiler,deep-learning,distributed-training,llm,machine-learning,parallel-computing
GitHub 星标★ 136
上线时间2024-04-07 00:00:00
代码更新2026-10-26
仓库体积423.3 MB
本站数据更新2026-10-31
维护状态活跃
收录时间2026-10-31
浏览次数0

项目介绍

nnScaler 是微软开源的深度学习模型并行训练编译框架,目标是把单卡上写好的 DNN 模型自动编译成可在多卡、多机集群上运行的并行训练程序。它把并行策略从模型代码中剥离,用户只需描述模型结构与资源约束,编译器负责切分计算图、插入通信算子并生成分布式执行计划,从而降低大模型训练的门槛。核心能力包括:基于计算图的自动并行化,支持数据并行、张量并行、流水并行及其组合;面向大语言模型等超大模型的显存优化;与 PyTorch 生态衔接,尽量少改模型代码即可迁移。项目处于早期阶段,星标数不高,适合研究自动并行编译方向或希望减少手写并行代码的团队评估使用,生产落地前需结合自身集群做充分验证。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 136

核心亮点

  • 将并行策略与模型代码解耦,减少手写切分和通信逻辑的工作量
  • 支持数据、张量、流水并行的组合搜索,面向大模型训练场景
  • 基于计算图编译生成执行计划,思路清晰,便于研究自动并行方向

不足之处

  • 项目处于早期,星标仅 136,社区规模小,问题响应和生态完善度待观察
  • 对非常规自定义算子或动态图结构的模型,编译覆盖度可能不足
  • 缺少大规模生产环境验证案例,稳定性和性能调优资料有限

适用场景

  • 研究自动并行编译与分布式训练调度的学术或工程团队
  • 需要把单卡原型快速扩展到多卡集群的中小规模大模型训练
  • 希望减少手写张量并行、流水并行代码的模型训练工程

替代项目

Megatron-LM、DeepSpeed、Colossal-AI

上一篇:foundation-model-stack

下一篇:PERSIA

同类项目推荐

VLM-R1 开源

用强化学习让视觉模型学会推理,少数据也能提升定位精度。

Solve Visual Understanding with Reinforced VLMs

★ 6046 2026-08-09
lorax 开源

一个服务跑上千个微调模型,省 GPU 又省心

Multi-LoRA inference server that scales to 1000s of fine-tuned LLMs

★ 3835 2026-08-09
all-rl-algorithms 开源

一个仓库搞定所有强化学习算法,快速上手复现

Implementation of all RL algorithms in a simpler way

★ 1986 2026-08-09
Matlab-GAN 开源

用 MATLAB 跑通多种 GAN,从入门到 CycleGAN 一步到位

MATLAB implementations of Generative Adversarial Networks -- from GAN to Pixel2Pixel···

★ 209 2026-08-09
caret 开源

一套 R 接口统一训练调参数百种机器学习模型

caret (Classification And Regression Training) R package that contains misc function···

★ 1668 2026-10-31
MoA 开源

自动混合稀疏注意力,压缩 LLM 省内存提速

[CoLM'25] The official implementation of the paper

★ 162 2026-08-09
RandOpt 开源

在预训练权重附近挖出多个专家模型,提升泛化与集成效果

Official Codebase for "Neural Thickets: Diverse Task Experts Are Dense Around Pretra···

★ 658 2026-08-09
MLFlowClient.jl 开源

在 Julia 中轻松接入 MLflow,跟踪实验、管理模型

Track experiments, log metrics, manage models — MLflow from Julia.

★ 59 2026-08-09
xtuner 开源

训练千亿 MoE 模型,省显存又提速

A Next-Generation Training Engine Built for Ultra-Large MoE Models

★ 5220 2026-08-09