Composition-RL

把可验证提示词自动组合，低成本扩充 RL 训练数据

Composition-RL 是 NeurIPS 2026 论文的官方开源实现，聚焦大语言模型的可验证提示词强化学习。它解决的核心问题是：现有 RLVR（可验证奖励强化学习）依赖大量人工标注或单一来源的提示词，数据成本高且多样性不足。项目提出「组合式提示词」思路，把已有的可验证提示词通过组合、改写、拼接等方式自动扩展成新的训练样本，从而在无需额外人工标注的情况下扩大训练数据规模、提升提示多样性。核心能力包括：可验证提示词的自动组合与生成管线、配套的强化学习训练脚本、以及对生成样本可验证性的校验机制。代码以 Python 实现，结构轻量，适合研究者在自有模型和数据集上复现论文实验，或作为 RLVR 数据增强的基线工具。

开源 free 模型训练

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 138

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类模型训练

开发团队XinXU-USTC

所属国家

官网地址

GitHubhttps://github.com/XinXU-USTC/Composition-RL

定价模式free

价格说明开源免费，论文配套代码

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型

GitHub 星标★ 138

30天Star增速

HF 下载量

上线时间2026-02-12 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-05

浏览次数0

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

用组合方式自动扩充可验证提示词，减少人工标注成本
提供完整训练脚本，可直接复现论文实验
面向 RLVR 场景，与主流可验证奖励训练流程兼容

不足之处

项目处于早期，星标和社区规模较小
文档与使用示例相对有限，上手需读论文

适用场景

为大模型 RLVR 训练做数据增强
复现 Composition-RL 论文实验
研究可验证提示词自动生成方法

替代项目

verl、OpenRLHF

项目介绍

Composition-RL 是模型训练领域的开源项目，由 XinXU-USTC 开发，是 2026 年新上线的项目。

它收录于模型训练分类，该分类目前共有 535 个项目，GitHub 星标数为 138。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-27。开源免费，论文配套代码。

它主要面向的使用场景是：为大模型RLVR训练做数据增强。同类可对比的替代方案包括 verl、OpenRLHF。

上一篇：Repo2RLEnv

下一篇：没有了！