RewardModelingBeyondBradleyTerry

用新理论替代Bradley-Terry,让奖励建模更准

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 4 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 74
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,无付费版本。

项目预览

RewardModelingBeyondBradleyTerry 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队holarissun
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型inverse-reinforcement-learning,large-language-models,largelanguagemodels,llm-aligment,llmalignment,reward,reward-modeling,reward-models,rlhf
GitHub 星标★ 74
上线时间2024-09-18 00:00:00
代码更新2025-04-02
仓库体积373.8 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

这是一个关于偏好奖励建模的开源项目,是ICLR 2025论文的官方实现。论文重新思考了基于Bradley-Terry模型的奖励建模方法,从理论基础、理论分析和替代方案三个层面展开。项目旨在解决传统BT模型在偏好数据建模中的局限性,提供更灵活、更准确的奖励建模工具。核心能力包括:实现多种奖励建模算法(如Plackett-Luce、广义线性模型等),提供理论分析框架,以及可复现的实验代码。项目使用Python编写,适合研究人员和工程师用于偏好学习、强化学习中的奖励函数设计。目前处于早期阶段,代码结构清晰,但文档和社区支持有限。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 74

核心亮点

  • 基于ICLR 2025前沿论文,理论扎实,提供多种替代BT的建模方法
  • 代码结构清晰,包含实验配置和可复现脚本,便于学术研究
  • 覆盖从理论到实践的完整链路,适合深入理解奖励建模原理

不足之处

  • 项目处于早期,文档和示例较少,上手门槛较高
  • 依赖特定研究环境,可能缺少与主流库(如HuggingFace)的集成

适用场景

  • 学术研究中探索新的奖励建模理论
  • 强化学习中设计更准确的奖励函数
  • 偏好数据驱动的模型对齐(如RLHF)

替代项目

OpenAI's RLHF (InstructGPT)、Anthropic's Constitutional AI、DPO (Direct Preference Optimization)

同类项目推荐

kokoro-ruslan 开源

用 Ruslan 语料库训练俄语 Kokoro 语音模型

Kokoro Language Model Training Script for Russian (Ruslan Corpus)

★ 71 2026-08-09
vime 开源

用 vLLM 加速 LLM 强化学习后训练,采样更快、规模更大

An LLM post-training framework with vLLM for RL Scaling

★ 503 2026-10-07
aimet 开源

不重训模型,把已训练网络压到 4bit 还能保住精度

AIMET is a library that provides advanced quantization and compression techniques fo···

★ 2744 2026-10-17
AgileRL 开源

让强化学习训练快 10 倍,超参自动调优,开箱即用

The complete post-training stack for LLMs, plus RL for any problem. SFT, DPO and mul···

★ 966 2026-08-09
LoongSage 开源

用验证过的配方,快速训出会调工具的智能体

A production-grade, high-efficiency Agentic RL framework for frontier LLMs with vali···

★ 606 2026-10-07
easevoice-trainer 开源

简单几步,训练你的专属语音克隆模型

EaseVoice Trainer is a simple and user-friendly voice cloning and speech model train···

★ 350 2026-08-09
nano-world-model 开源

用扩散强制训练世界模型,让机器人看懂视频并规划动作。

A Minimalist, Batteries-included Repository for Advancing World Model Science.

★ 773 2026-08-09
Matlab-GAN 开源

用 MATLAB 跑通多种 GAN,从入门到 CycleGAN 一步到位

MATLAB implementations of Generative Adversarial Networks -- from GAN to Pixel2Pixel···

★ 209 2026-08-09
SIM-CoT 开源

让模型在内部悄悄思考,推理更快更省token

[ICLR 2026] An official implementation of "SIM-CoT: Supervised Implicit Chain-of-Tho···

★ 219 2026-08-09