项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-26 · 当前星标 ★ 339
核心亮点
- 提供多种并行策略组合，便于按集群规模扩展训练吞吐
- 针对通信与计算重叠做优化，减少多卡训练中的 GPU 空转
- 支持混合精度、梯度累积与激活重计算，降低显存门槛
不足之处
- 项目处于早期，生态与第三方集成相对有限
- 文档和示例主要面向研究场景，生产级运维支持待观察
适用场景
- 在多卡集群上做 LLM 预训练并追求更高吞吐
- 显存受限时用激活重计算与并行策略训练更大模型
- 研究团队快速复现和对比不同并行配置的训练效率
替代项目
Megatron-LM、DeepSpeed、Nanotron
上一篇：mcore-bridge
下一篇：FineEnvs
同类项目推荐
RandOpt
开源
在预训练权重附近挖出多个专家模型，提升泛化与集成效果
Official Codebase for "Neural Thickets: Diverse Task Experts Are Dense Around Pretra···
gorilla
开源
让大模型学会精准调用API，连接真实世界工具
Gorilla: Training and Evaluating LLMs for Function Calls (Tool Calls)
verl-omni
开源
给扩散和全模态模型做 RL 后训练，一套框架跑通
Multimodal RL training framework for diffusion & omni models
ZO-LLM
开源
用零阶优化在低显存下微调大模型，省内存不省效果
[ICML‘24] Official code for the paper "Revisiting Zeroth-Order Optimization for Mem···
Repo2RLEnv
开源
任意仓库一键变可验证 RL 训练环境，边训边评测
Turn any repository into verifiable RL environments for coding agents - Harbor tasks···
KDFlow
开源
一套配置跑通多种LLM蒸馏，小模型也能继承大模型能力
A user-friendly & efficient knowledge distillation framework for LLMs, supporting of···
EAGLE
开源
让大模型生成速度翻倍，无需牺牲输出质量
Official Implementation of EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24), and EAGLE-3 (NeurI···
AAAI2025_MIA-Tuner
开源
一句话识别文本是否来自模型预训练数据，助力隐私审计。
[AAAI'25 Oral] "MIA-Tuner: Adapting Large Language Models as Pre-training Text Detec···
raft
开源
微调+RAG双阶段，让AI代理精准模仿特定人物
RAFT, or Retrieval-Augmented Fine-Tuning, is a method comprising of a fine-tuning an···