pairjudge

用 LLM 当裁判做 A/B 评测，省钱、去偏、还能蒸馏小模型

开源 free 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 170

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类评测安全

开发团队DaoyuanLi2816

所属国家

官网地址

GitHubhttps://github.com/DaoyuanLi2816/pairjudge

定价模式free

价格说明开源Python包，免费使用

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型chatbot-arena,gold-medal,kaggle-competition,kaggle-solution,llm,llm-as-judge,lora,nlp,preference-learning,reward-model,rlhf

GitHub 星标★ 170

30天Star增速

HF 下载量

上线时间2024-09-17 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-21

浏览次数0

项目介绍

pairjudge 是一个面向成对 LLM 评判（A/B/tie）的开源工具包，源自 Kaggle LMSYS Chatbot Arena 第四名（金牌）方案并做了通用化改造。它要解决的是：用 LLM 当裁判做偏好比较时，成本高、位置偏差大、标注数据少。核心能力包括预算感知的多轮打包（把多条对比塞进有限上下文/调用预算里）、位置偏差校正（消除 A/B 顺序带来的系统性偏好）、伪标签蒸馏（用强模型生成软标签训练小模型或奖励模型）。项目提供 Python 实现，涉及 LoRA 微调、奖励模型与偏好学习流程，适合做模型评测、奖励模型训练和竞技场式排名复现。