RPG

给大模型 RL 训练加上安全护栏，稳定提升性能

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 3 🐛 待处理 5 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 78
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，可自由使用，无付费版本。

项目预览

RPG 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队complex-reasoning
官网地址https://complex-reasoning.github.io/RPG
GitHubhttps://github.com/complex-reasoning/RPG
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，可自由使用，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型deep-learning,foundation-models,large-language-models,llm,post-training,reinforcement-learning
GitHub 星标★ 78
上线时间2025-05-26 00:00:00
代码更新2026-11-05
仓库体积10.8 MB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数3

项目介绍

RPG 是一个基于 KL 正则化策略梯度的强化学习训练框架，源自 ICLR 2026 论文。它旨在解决大语言模型在强化学习微调中策略更新过快、导致奖励黑客和分布偏移的问题。核心能力是提供一种稳定的策略优化算法，通过 KL 散度约束策略更新幅度，在提升奖励的同时保持模型原有能力。项目代码为 Python 实现，支持与主流 RL 训练流程集成，适合研究者和工程师复现论文结果或进行自定义实验。目前处于早期阶段，功能聚焦于核心算法验证。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 78

核心亮点

  • 算法创新：KL 正则化直接缓解策略崩溃，理论有 ICLR 背书
  • 代码简洁：Python 实现，易于阅读和二次开发
  • 紧跟前沿：针对 LLM 强化学习痛点，实用性强

不足之处

  • 文档/社区待观察
  • 早期项目，功能覆盖有限，可能缺少完整训练管线

适用场景

  • 学术研究：复现论文实验，对比不同 RL 算法
  • LLM 对齐：在 RLHF 流程中替代 PPO 等算法，提升稳定性
  • 策略优化教学：作为强化学习入门案例

替代项目

TRL、OpenRL、verl

上一篇：DMax

下一篇：residual-context-diffusion

同类项目推荐

spiral 开源

让AI在对抗博弈中练出深度推理

SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Tur···

★ 211 2026-08-09
CDM 开源

少步扩散蒸馏，让图像生成快如闪电

[NeurIPS 2026] Continuous-Time Distribution Matching for Few-Step Diffusion Distilla···

★ 156 2026-08-09
dLLM-RL 开源

给扩散大模型装上强化学习引擎，训练出 SOTA 的 TraDo 系列

[ICLR 2026] Official code for TraceRL: Revolutionizing post-training for Diffusion L···

★ 523 2026-08-09
LLM-SR 开源

用大模型从数据中自动发现科学方程，告别手动推导。

[ICLR 2025 Oral] This is the official repo for the paper "LLM-SR" on Scientific Equa···

★ 283 2026-08-09
DDSM 开源

让扩散模型训练更快更省，按步骤智能分配学习资源

Denoising Diffusion Step-aware Models (ICLR2024)

★ 61 2026-08-09
DeepSpeed 开源

几行配置把单卡训练扩到多机多卡，省显存提吞吐

DeepSpeed is a deep learning optimization library that makes distributed training an···

★ 43309 2026-11-08
MoTHer 开源

从模型集合中自动还原模型家族树，看清模型间继承关系。

Official PyTorch Implementation for the "Unsupervised Model Tree Heritage Recovery" ···

★ 62 2026-08-09
llamaduo 开源

把大模型能力搬回家，低成本打造专属小模型

[ACL'25] Official Code for LlamaDuo: LLMOps Pipeline for Seamless Migration from Ser···

★ 317 2026-08-09
MTP 开源

多任务预训练遥感模型，一个骨干搞定多种任务

The official repo for [JSTARS'24] "MTP: Advancing Remote Sensing Foundation Model vi···

★ 253 2026-08-09