modalities
PyTorch 原生分布式训练，配置化复现大模型实验
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-19 · 当前星标 ★ 112
核心亮点
- 基于 PyTorch 原生 API，不引入重型抽象，已有 PyTorch 代码迁移成本低
- 把分布式并行策略和可复现性（种子、配置、检查点）作为框架内置能力，减少样板代码
- 配置驱动训练流程，便于在不同集群规模间复用同一实验定义
不足之处
- 项目处于早期，星标仅 111，社区规模和生态工具尚不成熟
- 文档和示例可能不够完善，复杂并行组合的调试支持有待验证
适用场景
- 中小团队训练十亿级参数以内的基础模型，需要快速搭建可复现的分布式训练流程
- 研究机构做消融实验，要求同一配置在不同 GPU 数量下结果可复现
- 已有 PyTorch 训练脚本的团队，希望以较低改造成本引入张量并行或流水线并行
替代项目
Megatron-LM、DeepSpeed、torchrun
同类项目推荐
SAELens
开源
把大模型内部激活拆成可读特征，训练与复用 SAE
Training Sparse Autoencoders on Language Models
doc-to-lora
开源
让大模型随时记住新知识，不用重训
Hypernetworks that update LLMs to remember factual information
Trinity-RFT
开源
搭好LLM强化微调流水线，换算法扩规模不用重写
Trinity-RFT is a general-purpose, flexible and scalable framework designed for reinf···
rlix
开源
让 RL 实验排队更聪明，GPU 等待时间更短
Run more RL experiments. Wait less for GPUs.
regress-lm
开源
把回归变成生成，用预训练模型直接预测数值
Library for sequence-to-sequence numeric prediction, applicable to any tokenizable i···
allamo
开源
轻量可改，小资源也能训模型
A lightweight, hackable, and efficient framework for training and fine-tuning langua···
Matlab-GAN
开源
用 MATLAB 跑通多种 GAN，从入门到 CycleGAN 一步到位
MATLAB implementations of Generative Adversarial Networks -- from GAN to Pixel2Pixel···
ZO-LLM
开源
用零阶优化在低显存下微调大模型，省内存不省效果
[ICML‘24] Official code for the paper "Revisiting Zeroth-Order Optimization for Mem···
dLLM-RL
开源
给扩散大模型装上强化学习引擎，训练出 SOTA 的 TraDo 系列
[ICLR 2026] Official code for TraceRL: Revolutionizing post-training for Diffusion L···