UniRL

一套框架搞定多种数据训练，强化学习不再各搞各的

腾讯混元开源的统一多模态强化学习框架，支持在多模态场景下训练与优化模型。它提供统一的 RL 流程抽象，帮助研究者和工程师在文本、图像等多模态任务上高效开展强化学习实验，是探索多模态对齐与推理能力提升的实用工具。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 985
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队Tencent-Hunyuan
所属国家
官网地址https://unirl-project.github.io/unirl
GitHubhttps://github.com/Tencent-Hunyuan/UniRL
定价模式free
价格说明开源框架，本地部署，完全免费。
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型ai-infrastructure,reinforcement-learning,sglang,vllm
GitHub 星标★ 985
30天Star增速
HF 下载量
上线时间2026-06-08 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数13

使用教程

核心亮点

  • 统一多模态强化学习框架，支持文本、图像等多种模态输入，简化了多模态RL的训练流程
  • 深度集成vLLM和SGLang，利用高效推理引擎加速RL训练中的采样和评估过程
  • 早期项目但已获得890星标，社区关注度高，设计思路符合当前LLM对齐研究趋势

不足之处

  • 项目处于早期阶段，文档和社区生态待观察
  • 依赖vLLM和SGLang，可能对非标准模型或自定义环境的兼容性有限

适用场景

  • 多模态大模型的RLHF/RLVR训练与研究
  • 需要高效推理加速的强化学习实验环境
  • 作为学术研究基准，探索统一多模态RL算法

替代项目

TRL、OpenRLHF、verl

项目介绍

UniRL 是模型训练领域的开源项目，由 Tencent-Hunyuan 开发，是 2026 年新上线的项目。

在全站 13,014 个收录项目中，它的 GitHub 星标数（985）位列前 30%，在模型训练分类中处于中上游。

近 45 天，它的 GitHub 星标从 890 增加到 985，净增 95。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。本地部署，完全免费。

它主要面向的使用场景是：多模态大模型的RLHF/RLVR训练与研究。同类可对比的替代方案包括 TRL、OpenRLHF、verl。

上一篇：pycaret

下一篇：rllm

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列，训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性，长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型，练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型，推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13