项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1045
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- Python 环境（README 未标注具体版本，详见仓库 INSTALL.md）
- 按 INSTALL.md 安装全部依赖后方可运行
- 需要 GPU 资源用于多模态 RL 训练（README 未给出显存等规格）
- 训练入口依赖 Hydra 配置体系（Hydra example config）
- 涉及 Ray DevicePool、FSDP、Transfer Queue 等分布式运行时及 sglang/vllm 相关组件
安装与启动步骤
-
1克隆项目仓库
README 未给出任何安装命令，仅提供仓库地址；先克隆源码到本地，再查看安装文档。
git clone https://github.com/Tencent-Hunyuan/UniRL.git cd UniRL -
2阅读安装文档
Getting Started 明确要求先安装依赖，并指向 INSTALL.md，具体安装命令与版本以该文件为准。
-
3按文档安装依赖
README 未列出 pip/conda 等具体命令，请按 INSTALL.md 完成依赖安装后再继续。
-
4准备 Hydra 配置
训练入口会加载 Hydra example config 并据此创建对应领域的 trainer，按需选择或修改示例配置。
-
5启动训练入口
入口负责串联采样、打分、优势计算、策略更新与权重回同步；具体启动命令请见仓库文档。
如何确认成功
README 未提供启动成功验证方式，请以 INSTALL.md 中的说明为准。
常见问题
Q：为什么找不到安装命令？
A：README 只说明“先安装依赖，见 INSTALL.md”，具体安装步骤在该文件中，需要到仓库里查看。
Q：UniRL 依赖哪些组件？
A：README 提到 Ray DevicePool、FSDP、Transfer Queue、LoRA/全权重同步，技术栈还涉及 sglang 与 vllm，具体版本以 INSTALL.md 为准。
Q：支持哪些训练任务？
A：面向统一多模态模型，提供异步 AR 与 diffusion 训练入口，并包含 DRPO、Flow-DPPO、CPPO 等算法。
Q：如何切换算法或模型？
A：训练入口通过 Hydra example config 加载配置，修改对应配置即可调整 trainer、rollout engine 与模型 bundle。
注意事项
- README 节选中没有给出任何可直接执行的安装或启动命令，本教程步骤仅为通用准备动作。
- 所有命令、依赖版本与参数请以仓库中的 INSTALL.md 为准。
- 项目为分布式 RL 训练框架，建议先在小规模环境验证后再扩展到多机多卡。
- 官网 https://unirl-project.github.io/unirl 可作为补充资料。
核心亮点
- 统一多模态强化学习框架，支持文本、图像等多种模态输入，简化了多模态RL的训练流程
- 深度集成vLLM和SGLang，利用高效推理引擎加速RL训练中的采样和评估过程
- 早期项目但已获得890星标，社区关注度高，设计思路符合当前LLM对齐研究趋势
不足之处
- 项目处于早期阶段，文档和社区生态待观察
- 依赖vLLM和SGLang，可能对非标准模型或自定义环境的兼容性有限
适用场景
- 多模态大模型的RLHF/RLVR训练与研究
- 需要高效推理加速的强化学习实验环境
- 作为学术研究基准，探索统一多模态RL算法
替代项目
TRL、OpenRLHF、verl
同类项目推荐
AutoGrad-Engine
开源
600 行纯 C# 从零实现 GPT 训练与推理
A complete GPT language model (training and inference) in ~600 lines of pure C#, zer···
sd-leap-booster
开源
让 Stable Diffusion 微调更快，从局部最优起步，省时省力。
Fast finetuning using a booster model that puts the initial state to a local minimum
SoftCoT
开源
用软思维链替代文本推理，大幅降低 LLM 推理成本
ACL'2025: SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs. and prep···
lora-speedrun
开源
固定任务硬件，比谁把 LoRA 微调跑得最快
Speedrunning LoRA fine-tuning: frozen task, frozen hardware, public wall-clock leade···
ktransformers
开源
单卡甚至纯CPU跑大模型，显存不够也能玩转MoE推理微调
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimiza···
Dreambooth
开源
用几张照片微调扩散模型，让AI学会画你的专属对象
Fine-tuning of diffusion models
ToolOrchestra
开源
用强化学习训练模型更聪明地调用工具、编排工作流
ToolOrchestra is an end-to-end RL training framework for orchestrating tools and age···
burn-onnx
开源
把 ONNX 模型转成纯 Rust Burn 代码，推理微调不再依赖 Python
Convert ONNX models into native, backend-agnostic Burn code for inference and fine-t···
JetSpec
开源
让大模型推理更快：并行草稿树突破推测解码速度天花板
JetSpec++/JetSpec: Causal Parallel (Tree) Drafting with Self Refinement