
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 136
核心亮点
- 将并行策略与模型代码解耦,减少手写切分和通信逻辑的工作量
- 支持数据、张量、流水并行的组合搜索,面向大模型训练场景
- 基于计算图编译生成执行计划,思路清晰,便于研究自动并行方向
不足之处
- 项目处于早期,星标仅 136,社区规模小,问题响应和生态完善度待观察
- 对非常规自定义算子或动态图结构的模型,编译覆盖度可能不足
- 缺少大规模生产环境验证案例,稳定性和性能调优资料有限
适用场景
- 研究自动并行编译与分布式训练调度的学术或工程团队
- 需要把单卡原型快速扩展到多卡集群的中小规模大模型训练
- 希望减少手写张量并行、流水并行代码的模型训练工程
替代项目
Megatron-LM、DeepSpeed、Colossal-AI
下一篇:PERSIA
同类项目推荐
VLM-R1
开源
用强化学习让视觉模型学会推理,少数据也能提升定位精度。
Solve Visual Understanding with Reinforced VLMs
lorax
开源
一个服务跑上千个微调模型,省 GPU 又省心
Multi-LoRA inference server that scales to 1000s of fine-tuned LLMs
all-rl-algorithms
开源
一个仓库搞定所有强化学习算法,快速上手复现
Implementation of all RL algorithms in a simpler way
Matlab-GAN
开源
用 MATLAB 跑通多种 GAN,从入门到 CycleGAN 一步到位
MATLAB implementations of Generative Adversarial Networks -- from GAN to Pixel2Pixel···
caret
开源
一套 R 接口统一训练调参数百种机器学习模型
caret (Classification And Regression Training) R package that contains misc function···
MoA
开源
自动混合稀疏注意力,压缩 LLM 省内存提速
[CoLM'25] The official implementation of the paper
RandOpt
开源
在预训练权重附近挖出多个专家模型,提升泛化与集成效果
Official Codebase for "Neural Thickets: Diverse Task Experts Are Dense Around Pretra···
MLFlowClient.jl
开源
在 Julia 中轻松接入 MLflow,跟踪实验、管理模型
Track experiments, log metrics, manage models — MLflow from Julia.
xtuner
开源
训练千亿 MoE 模型,省显存又提速
A Next-Generation Training Engine Built for Ultra-Large MoE Models