Rethinking-OPD

环境要求

• 已安装 conda，用于创建隔离环境
• verl 环境使用 Python 3.12
• LlamaFactory 环境使用 Python 3.11
• 需要事先准备 verl v0.7.0 与 LlamaFactory v0.9.5 的源码目录

安装与启动步骤

1. 1创建 verl 环境

   用 conda 新建名为 verl 的 Python 3.12 环境，用于 OPD 与 RL 相关训练。

   conda create -n verl python==3.12

   复制

2. 2激活 verl 环境

   切换到刚创建的环境，后续安装命令都要在该环境内执行。

   conda activate verl

   复制

3. 3安装训练依赖

   进入 verl 源码目录，以 USE_MEGATRON=0 关闭 Megatron 后端，运行官方脚本安装 vLLM/SGLang/MCore 依赖。

   cd verl/
   USE_MEGATRON=0 bash scripts/install_vllm_sglang_mcore.sh

   复制

4. 4安装 math-verify

   在 verl 环境中补充安装数学答案校验依赖 math-verify。

   pip install math-verify

   复制

5. 5创建 SFT 环境

   SFT 训练使用 Python 3.11，需另建一个名为 sft 的环境，与 verl 环境分开。

   conda create -n sft python==3.11

   复制

6. 6安装 LlamaFactory

   进入 LlamaFactory 源码目录，以可编辑模式安装本体，并装 metrics 额外依赖。

   cd LlamaFactory/
   pip install -e .
   pip install -r requirements/metrics.txt

   复制

如何确认成功

README 未给出验证方式；可执行 conda activate verl 后用 pip list 确认依赖已装入。

常见问题

注意事项

• README 未提供代码下载命令，需自行准备 verl v0.7.0 与 LlamaFactory v0.9.5 源码目录。
• USE_MEGATRON=0 表示不使用 Megatron 后端，该安装脚本必须在 verl/ 目录内执行。
• OPD/RL 环境（Python 3.12）与 SFT 环境（Python 3.11）不可混用。
• README 未给出训练、评测入口与配置文件说明，具体运行方式请结合仓库与论文进一步确认。