EasyR1

多模态强化学习训练，高效扩展不卡壳

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 398 🐛 待处理 72 👀 关注 22

GitHub ↗

GitHub 星标 ★ 5211

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源框架，基于Apache-2.0许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队hiyouga

GitHubhttps://github.com/hiyouga/EasyR1

定价模式🏷️完全免费

价格说明开源框架，基于Apache-2.0许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型ai,deepseek,gpt,llm,nlp,qwen,reinforcement-learning,rl

GitHub 星标★ 5211

上线时间2025-02-22 00:00:00

代码更新2026-09-19

仓库体积3.5 MB

本站数据更新2026-11-07

维护状态维护中

收录时间2026-08-09

浏览次数7

项目介绍

EasyR1 是一个基于 veRL 的高效、可扩展的多模态强化学习训练框架，专注于解决视觉-语言模型（VLM）在强化学习训练中的效率与扩展性问题。它支持大规模并行训练，集成多种多模态数据加载与处理能力，提供灵活的奖励函数接口和训练策略配置，帮助研究者和工程师快速实现从单模态到多模态的 RL 训练流程。框架针对 veRL 进行了深度优化，降低了多模态 RL 的工程门槛，适用于视觉问答、具身智能、多模态决策等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 5211

技术标签

ai deepseek gpt llm nlp

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级约 30 分钟部署方式：本地安装 6 步

环境要求

Python 3 与 pip 环境（用于 pip install -e .）
Git（用于克隆 EasyR1 仓库）
多机训练场景需安装 Ray，并保证节点间网络互通
运行 Qwen2.5-VL 7B GRPO 训练脚本需具备相应算力/显存，70B+ 模型需多节点

安装与启动步骤

1克隆并进入项目

从 GitHub 克隆 EasyR1 仓库并进入项目根目录，后续安装与运行都在此目录进行。
```
git clone https://github.com/hiyouga/EasyR1.git
cd EasyR1
```
2可编辑模式安装

在项目根目录以可编辑模式安装依赖；README 未列出额外依赖，如需多模态训练请自行补齐环境。
```
pip install -e .
```
3启动 Ray head 节点

多机训练时在 head 机器上执行，指定 6379 端口并把 Dashboard 暴露到 0.0.0.0。
```
ray start --head --port=6379 --dashboard-host=0.0.0.0
```
4启动 Ray worker 节点

在 worker 机器执行，把 <head_node_ip> 换成 head 节点真实 IP，端口保持与 head 一致。
```
ray start --address=<head_node_ip>:6379
```
5检查 Ray 资源池

确认各节点 GPU/CPU 资源已加入集群，再进行训练，避免资源识别不全导致失败。
```
ray status
```
6运行 GRPO 训练脚本

仅在 Ray head 节点执行该示例脚本，运行 Qwen2.5-VL 在 Geometry3K 上的 GRPO 训练。
```
bash examples/qwen2_5_vl_7b_geo3k_grpo.sh
```

关键配置

配置项	必填	说明	示例
`--port`	是	Ray head 节点监听端口	`6379`
`--dashboard-host`	否	Ray Dashboard 监听地址，0.0.0.0 表示对外可访问	`0.0.0.0`
`--address`	是	worker 节点连接 head 节点的地址与端口	`192.168.1.10:6379`

如何确认成功

执行 ray status 可看到 Ray 集群资源池；训练脚本能正常输出日志即为启动成功。

常见问题

Q：多机训练时 worker 连不上 head 怎么办？

A：把命令中的 <head_node_ip> 替换为 head 节点真实可互通 IP，端口与 head 启动时一致（默认 6379），并检查防火墙与网络。

Q：训练脚本应该在哪些节点运行？

A：README 明确说明训练脚本只在 Ray head 节点上运行，worker 节点只负责提供算力资源。

Q：多机训练和 Ray 调试还有更多资料吗？

A：README 指引参见 veRL 官方文档中的多节点训练章节，链接为 https://verl.readthedocs.io/en/latest/start/multinode.html 。

Q：安装步骤报错怎么办？

A：README 仅给出 git clone、cd、pip install -e . 三步，未提供其它依赖安装说明，请先确认 Python/pip 可用及网络能访问 PyPI 与 GitHub。

注意事项

EasyR1 是 veRL 的干净分支，专门支持视觉语言模型（VLM）的强化学习训练。
支持模型包括 Llama3/Qwen2/Qwen2.5/Qwen3 与 Qwen2-VL/Qwen2.5-VL/Qwen3-VL、DeepSeek-R1 distill 等。
支持 GRPO、DAPO、Reinforce++、ReMax、RLOO、GSPO、CISPO 等算法。
README 未给出示例脚本内的超参数说明，具体配置请查看仓库 examples 目录下的脚本文件。