基于 Ray 的强化学习框架，让大规模 RLHF 训练又快又稳
OpenRLHF 是一个基于 Ray 的强化学习框架，专为大规模语言模型（LLM）的智能体训练而设计。它解决了传统 RLHF（人类反馈强化学习）流程中训练效率低、扩展性差的问题，提供了一站式的解决方案。核心能力包括：支持多种主流强化学习算法（如 PPO、DAPO、REINFORCE++），兼容视觉语言模型（VLM）和文本模型，集成了 vLLM 作为推理引擎，并利用 Ray 实现分布式异步训练，从而大幅提升吞吐量。框架设计注重易用性，提供简洁的 API 和模块化组件，让开发者能够快速搭建和实验。无论是学术研究还是工业落地，OpenRLHF 都能帮助团队高效完成从数据准备到模型部署的完整 RLHF 流程，是当前开源社区中功能全面且性能领先的 RL 框架之一。
1启动 Docker 容器
用 NVIDIA PyTorch 镜像起一个带 GPU 的交互容器，把当前目录挂载到 /openrlhf，后续命令都在容器内执行。
docker run --runtime=nvidia -it --rm --shm-size="10g" --cap-add=SYS_ADMIN -v $PWD:/openrlhf nvcr.io/nvidia/pytorch:26.03-py3 bash2安装 OpenRLHF
推荐用 pip 安装并带上 vLLM 依赖；追求性能可选 vllm,ring,liger 全套优化。
pip install openrlhf[vllm]3从源码安装（可选）
若需要改代码或使用最新版本，可克隆仓库后以可编辑模式安装，替代上一步的 pip 安装。
git clone https://github.com/OpenRLHF/OpenRLHF.git
cd OpenRLHF
pip install -e .4提交 PPO 训练任务
通过 Ray Job 提交训练，指定模型路径、提示数据集与自定义奖励函数脚本，其余参数按示例脚本调整。
ray job submit --address="http://127.0.0.1:8265"
--runtime-env-json='{"working_dir": "/openrlhf"}'
-- python3 -m openrlhf.cli.train_ppo_ray
--actor.model_name_or_path meta-llama/Meta-Llama-3-8B
--train.dynamic_batch_enable
--reward.remote_url /path/to/reward_func.py
--data.label_key answer
--data.prompt_dataset your_prompt_dataset| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--actor.model_name_or_path | 是 | 指定作为 Actor 的基座模型名称或本地路径 | meta-llama/Meta-Llama-3-8B |
--data.prompt_dataset | 是 | 训练用的提示词数据集路径或名称 | your_prompt_dataset |
--reward.remote_url | 否 | 自定义奖励函数 Python 文件路径，用于代码/数学等可验证任务 | /path/to/reward_func.py |
--data.label_key | 否 | 把数据集中该字段作为 labels 传给 reward_func | answer |
--train.async_enable | 否 | 开启异步流水线以提高吞吐，可能影响收敛稳定性 | --train.async_enable |
--train.colocate_all | 否 | 混合引擎模式，去掉 async_enable 时 GPU 利用率最佳 | --train.colocate_all |
在 Ray Dashboard（http://127.0.0.1:8265）中能看到刚提交的 ray job 及其运行状态，容器内 pip 安装无报错。
Q：pip 安装时该选哪个 vLLM 版本？
A：基础版用 pip install openrlhf；推荐 pip install openrlhf[vllm]（vLLM 0.29.0）；想追最新版用 [vllm_latest]，需要全部优化则用 [vllm,ring,liger]。
Q：异步训练会不会让效果变差？
A：README 明确提示异步训练可能影响训练稳定性，只有在吞吐量关键且已验证收敛的情况下才使用。
Q：怎么用自定义奖励函数？
A：用 --reward.remote_url 指向奖励函数脚本，并用 --data.label_key answer 把数据集中的 answer 字段作为 labels 传入，适用于代码、数学、格式等可验证任务。
Q：怎么让 GPU 利用率最高？
A：使用混合引擎模式，加上 --train.colocate_all 并移除 --train.async_enable，可获得最佳 GPU 利用率。
Q：RingAttention 报错怎么办？
A：使用 --ds.ring_attn_size 前需要先安装 ring_flash_attn 依赖。
TRL、DeepSpeed-Chat、RLHF-Reward-Modeling
OpenRLHF 是模型训练领域的开源项目，由 OpenRLHF 开发，2023 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（10,034）位列前 5%，在模型训练分类的 518 个项目里位列前 5%。
近 41 天，它的 GitHub 星标从 9,906 增加到 10,034，净增 128。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。基于Apache-2.0许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：大规模语言模型的RLHF对齐训练。同类可对比的替代方案包括 TRL、DeepSpeed-Chat、RLHF-Reward-Modeling。
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···