项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 1360
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- CUDA 13 环境(torch==2.13.0+cu130),CUDA 12 环境不可用
- NVIDIA GPU 与主机驱动;驱动版本低于 580 时需改用官方容器
- Python + pip(用于本地 editable 安装)
- 多节点 RL 冒烟测试需要 Slurm 集群(示例脚本用 sbatch 提交)
安装与启动步骤
-
1克隆仓库
launch 脚本、agents 和 recipes 都放在这个 checkout 里,容器也会挂载该目录,必须先在本地克隆。
git clone https://github.com/NVIDIA-NeMo/labs-molt.git -
2进入目录
后续安装与运行命令都需在本仓库根目录下执行。
cd labs-molt -
3本地安装
editable 安装会拉取仓库验证过的 git 锁定版 AutoModel,R3 路由回放与 Muon 可直接使用。
pip install -e ".[vllm]" -
4确认驱动版本
环境需 CUDA 13;主机驱动低于 580 时请改用容器,容器自带 CUDA 前向兼容层并自动启用。此步无命令。
-
5运行 RL 冒烟测试
在 2 个交互节点上提交 RL 冒烟训练,首次运行会自动准备 geo3k 数据集,需 Slurm 环境。
sbatch examples/scripts/slurm/rl_qwen3_6_35b.sh -
6选择训练入口
SFT 用 molt.cli.train_sft,RL 用 molt.cli.train_rl_ray(基于 vLLM 的在线 RL),具体提交方式按仓库脚本为准。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--fsdp.ep_size | 否 | 设置专家并行规模,MoE 大模型训练用 | --fsdp.ep_size 256 |
--fsdp.offload | 否 | 将优化器状态卸载到 CPU,供最大规模 actor 使用 | --fsdp.offload optimizer |
如何确认成功
sbatch 作业成功提交并进入运行;首次运行会自动准备 geo3k 数据集,说明 RL 流程已正常启动。
常见问题
Q:可以直接 pip install molt-rl 从 PyPI 安装吗?
A:不可以。PyPI 上的 molt-rl 无法携带 git 锁定版 AutoModel,落后于该 pin,目前不是受支持的安装方式,请用容器或本地安装。
Q:CUDA 12 环境能跑吗?
A:不能。本地安装要求 CUDA 13(torch==2.13.0+cu130),CUDA 12 环境无法工作。
Q:主机驱动低于 580 怎么办?
A:改用官方容器,容器内置 CUDA 前向兼容层并会自动启用,无需手动配置。
Q:HuggingFace transformers 回退路径支持并行吗?
A:不支持。该非首选回退路径只支持 text + flash_attention_2 + packing,没有 CP / EP / TP;需要这些并行能力须走 NVIDIA AutoModel。
注意事项
- 容器会挂载本仓库 checkout,launch 脚本、agents 与 recipes 都在仓库内。
- NVIDIA AutoModel 是主路径,原生支持 CP / EP / TP;HF transformers 只是非首选回退。
- 优化器默认 adam,muon 为实验性,目前未稳定优于 adam,不建议默认使用。
核心亮点
- 原生集成HuggingFace,模型和数据集直接复用,迁移成本低
- 支持张量/专家/上下文并行与FSDP,可扩展至大规模训练
- 代码仅约9k行,结构紧凑,便于研究者阅读和修改
不足之处
- 项目较新,社区生态和文档完善度有待观察
- 仅1165星,生产环境验证案例较少
适用场景
- 研究智能体多轮对话的强化学习算法
- 在有限GPU上验证RLVR/RLHF新思路
- 基于HuggingFace模型做工具调用策略训练
替代项目
OpenRLHF、verl、TRL
上一篇:SMILE-factory
下一篇:Repo2RLEnv
同类项目推荐
AAAI2025_MIA-Tuner
开源
一句话识别文本是否来自模型预训练数据,助力隐私审计。
[AAAI'25 Oral] "MIA-Tuner: Adapting Large Language Models as Pre-training Text Detec···
MambaInLlama
开源
把 Llama 蒸馏成混合模型,推理更快更省内存
[NeurIPS 2024] Official Repository of The Mamba in the Llama: Distilling and Acceler···
FineEnvs
开源
快速搭 LLM 强化学习环境,从定义到训练一条龙
FineEnvs — RL Environments 101: building and scaling RL environments in the age of ···
surogate
开源
用 C++ 和 CUDA 把大模型微调速度拉到极致
Train and serve LLMs at extreme speed and massive throughput.
easydistill
开源
一键蒸馏大模型,小模型也能拥有大智慧
a toolkit on knowledge distillation for large language models
perfusion-pytorch
开源
用少量样本给文本生成模型打补丁,实现精准图像编辑
Implementation of Key-Locked Rank One Editing, from Nvidia AI
Skills
开源
给大模型装技能插件,按需组合快速增强能力
A project to improve skills of large language models
Liger-Kernel
开源
不改模型结构,给 LLM 训练省显存提吞吐
Efficient Triton Kernels for LLM Training
kohya_ss-docker
开源
在 Linux 上用 Docker 一键跑 kohya_ss,轻松微调 SD 模型
This is the tandem repository to exploit on linux the kohya_ss training webui conver···
