EasyR1

环境要求

• Python 3 与 pip 环境（用于 pip install -e .）
• Git（用于克隆 EasyR1 仓库）
• 多机训练场景需安装 Ray，并保证节点间网络互通
• 运行 Qwen2.5-VL 7B GRPO 训练脚本需具备相应算力/显存，70B+ 模型需多节点

安装与启动步骤

1. 1克隆并进入项目

   从 GitHub 克隆 EasyR1 仓库并进入项目根目录，后续安装与运行都在此目录进行。

   git clone https://github.com/hiyouga/EasyR1.git
   cd EasyR1

   复制

2. 2可编辑模式安装

   在项目根目录以可编辑模式安装依赖；README 未列出额外依赖，如需多模态训练请自行补齐环境。

   pip install -e .

   复制

3. 3启动 Ray head 节点

   多机训练时在 head 机器上执行，指定 6379 端口并把 Dashboard 暴露到 0.0.0.0。

   ray start --head --port=6379 --dashboard-host=0.0.0.0

   复制

4. 4启动 Ray worker 节点

   在 worker 机器执行，把 换成 head 节点真实 IP，端口保持与 head 一致。

   ray start --address=:6379

   复制

5. 5检查 Ray 资源池

   确认各节点 GPU/CPU 资源已加入集群，再进行训练，避免资源识别不全导致失败。

   ray status

   复制

6. 6运行 GRPO 训练脚本

   仅在 Ray head 节点执行该示例脚本，运行 Qwen2.5-VL 在 Geometry3K 上的 GRPO 训练。

   bash examples/qwen2_5_vl_7b_geo3k_grpo.sh

   复制

关键配置

如何确认成功

执行 ray status 可看到 Ray 集群资源池；训练脚本能正常输出日志即为启动成功。

常见问题

注意事项

• EasyR1 是 veRL 的干净分支，专门支持视觉语言模型（VLM）的强化学习训练。
• 支持模型包括 Llama3/Qwen2/Qwen2.5/Qwen3 与 Qwen2-VL/Qwen2.5-VL/Qwen3-VL、DeepSeek-R1 distill 等。
• 支持 GRPO、DAPO、Reinforce++、ReMax、RLOO、GSPO、CISPO 等算法。
• README 未给出示例脚本内的超参数说明，具体配置请查看仓库 examples 目录下的脚本文件。