Composition-RL

把可验证提示词自动组合,低成本扩充 RL 训练数据

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 18 🐛 待处理 1 👀 关注 11
GitHub ↗
GitHub 星标 ★ 138
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费,论文配套代码

项目预览

Composition-RL 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队XinXU-USTC
定价模式🏷️完全免费
价格说明开源免费,论文配套代码
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
GitHub 星标★ 138
上线时间2026-02-12 00:00:00
代码更新2026-09-27
仓库体积14.1 MB
本站数据更新2026-11-18
维护状态维护中
收录时间2026-10-05
浏览次数2

项目介绍

Composition-RL 是 NeurIPS 2026 论文的官方开源实现,聚焦大语言模型的可验证提示词强化学习。它解决的核心问题是:现有 RLVR(可验证奖励强化学习)依赖大量人工标注或单一来源的提示词,数据成本高且多样性不足。项目提出「组合式提示词」思路,把已有的可验证提示词通过组合、改写、拼接等方式自动扩展成新的训练样本,从而在无需额外人工标注的情况下扩大训练数据规模、提升提示多样性。核心能力包括:可验证提示词的自动组合与生成管线、配套的强化学习训练脚本、以及对生成样本可验证性的校验机制。代码以 Python 实现,结构轻量,适合研究者在自有模型和数据集上复现论文实验,或作为 RLVR 数据增强的基线工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-05 · 当前星标 ★ 138

核心亮点

  • 用组合方式自动扩充可验证提示词,减少人工标注成本
  • 提供完整训练脚本,可直接复现论文实验
  • 面向 RLVR 场景,与主流可验证奖励训练流程兼容

不足之处

  • 项目处于早期,星标和社区规模较小
  • 文档与使用示例相对有限,上手需读论文

适用场景

  • 为大模型 RLVR 训练做数据增强
  • 复现 Composition-RL 论文实验
  • 研究可验证提示词自动生成方法

替代项目

verl、OpenRLHF

上一篇:Repo2RLEnv

下一篇:vime

同类项目推荐

pycaret 开源

几行代码跑完建模全流程,小白也能交出好模型

Open-source, low-code AutoML platform for Python. PyCaret 4.0: sklearn-native engine···

★ 9863 2026-08-09
reevo 开源

让大模型自动进化出高效启发式规则,解决优化难题

[NeurIPS 2024] ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evol···

★ 311 2026-08-09
sd-leap-booster 开源

让 Stable Diffusion 微调更快,从局部最优起步,省时省力。

Fast finetuning using a booster model that puts the initial state to a local minimum

★ 112 2026-08-09
CUDA-L2 开源

用强化学习自动写出比 cuBLAS 更快的矩阵乘法内核

CUDA-L2: Surpassing cuBLAS Performance for Matrix Multiplication through Reinforceme···

★ 488 2026-08-09
DiffuseKronA 开源

用更少参数微调扩散模型,生成更精准的个性化图像

DiffuseKronA: A Parameter Efficient Fine-tuning Method for Personalized Diffusion Mo···

★ 131 2026-08-09
arkor 开源

用 TypeScript 搞定大模型微调,工程化更顺滑

The Best TypeScript framework for fine-tuning

★ 146 2026-08-09
LlamaFactory 开源

上百种模型随意挑,教出你专属的 AI

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

★ 76101 2026-08-09
LRV-Instruction 开源

减少多模态模型胡说八道,让AI描述更靠谱

[ICLR'24] Mitigating Hallucination in Large Multi-Modal Models via Robust Instructio···

★ 297 2026-08-09
MTP 开源

多任务预训练遥感模型,一个骨干搞定多种任务

The official repo for [JSTARS'24] "MTP: Advancing Remote Sensing Foundation Model vi···

★ 253 2026-08-09