labs-molt

环境要求

• CUDA 13 环境（torch==2.13.0+cu130），CUDA 12 环境不可用
• NVIDIA GPU 与主机驱动；驱动版本低于 580 时需改用官方容器
• Python + pip（用于本地 editable 安装）
• 多节点 RL 冒烟测试需要 Slurm 集群（示例脚本用 sbatch 提交）

安装与启动步骤

1. 1克隆仓库

   launch 脚本、agents 和 recipes 都放在这个 checkout 里，容器也会挂载该目录，必须先在本地克隆。

   git clone https://github.com/NVIDIA-NeMo/labs-molt.git

   复制

2. 2进入目录

   后续安装与运行命令都需在本仓库根目录下执行。

   cd labs-molt

   复制

3. 3本地安装

   editable 安装会拉取仓库验证过的 git 锁定版 AutoModel，R3 路由回放与 Muon 可直接使用。

   pip install -e ".[vllm]"

   复制

4. 4确认驱动版本

   环境需 CUDA 13；主机驱动低于 580 时请改用容器，容器自带 CUDA 前向兼容层并自动启用。此步无命令。

5. 5运行 RL 冒烟测试

   在 2 个交互节点上提交 RL 冒烟训练，首次运行会自动准备 geo3k 数据集，需 Slurm 环境。

   sbatch examples/scripts/slurm/rl_qwen3_6_35b.sh

   复制

6. 6选择训练入口

   SFT 用 molt.cli.train_sft，RL 用 molt.cli.train_rl_ray（基于 vLLM 的在线 RL），具体提交方式按仓库脚本为准。

关键配置

如何确认成功

sbatch 作业成功提交并进入运行；首次运行会自动准备 geo3k 数据集，说明 RL 流程已正常启动。

常见问题

注意事项

• 容器会挂载本仓库 checkout，launch 脚本、agents 与 recipes 都在仓库内。
• NVIDIA AutoModel 是主路径，原生支持 CP / EP / TP；HF transformers 只是非首选回退。
• 优化器默认 adam，muon 为实验性，目前未稳定优于 adam，不建议默认使用。