RAGElo

用 Elo 对战排名,快速选出最强 RAG 智能体

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 7 🐛 待处理 6 👀 关注 8
GitHub ↗
GitHub 星标 ★ 133
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费工具,无在线服务

项目预览

RAGElo 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队zetaalphavector
定价模式🏷️完全免费
价格说明开源免费工具,无在线服务
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 133
上线时间2023-10-10 00:00:00
代码更新2026-09-24
仓库体积2.3 MB
本站数据更新2026-11-15
维护状态维护中
收录时间2026-10-02
浏览次数2

项目介绍

RAGElo 是一套用 Elo 排名机制来评测和筛选 RAG(检索增强生成)智能体的工具集。传统 RAG 评测依赖人工标注或固定测试集,难以在多个候选智能体之间做细粒度比较。RAGElo 把每个 RAG 智能体当作参赛选手,让它们对同一批问题生成回答,再通过两两对战的方式由评审模型或人工投票,用 Elo 算法累积评分,最终给出可比较的排名。核心能力包括:自动生成对战配对、支持 LLM 评审与人工评审两种模式、输出带置信区间的 Elo 排行榜,并能定位不同检索策略或提示词配置之间的优劣。它解决的是 RAG 系统迭代中“改了一版到底有没有变好”的量化难题,适合需要持续调优 RAG 管线的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 133

核心亮点

  • 把 Elo 排名引入 RAG 评测,多智能体两两对战比绝对打分更稳定
  • 支持 LLM 评审和人工评审两种模式,可灵活切换
  • 输出带排名的对比结果,能直接指导检索策略和提示词迭代

不足之处

  • 项目星标仅 133,社区规模和生态尚小
  • 评测效果依赖评审模型质量,缺少对评审偏差的校准说明

适用场景

  • 比较不同检索器或重排序策略对 RAG 回答质量的影响
  • 在多个提示词模板或 LLM 配置之间做 A/B 式选型
  • 为 RAG 产品迭代建立可重复的自动化评测流水线

替代项目

RAGAS、TruLens、DeepEval

上一篇:LettuceDetect

下一篇:open_asr_leaderboard

同类项目推荐

Frontier-CS 开源

用开放式 CS 难题测出大模型的真实上限

A benchmark for evaluating LLMs on open-ended CS problems. Exploring the Next Fronti···

★ 348 2026-10-23
trulens 开源

给LLM应用装上仪表盘,量化评估效果,快速定位问题。

Evaluation and Tracking for LLM Experiments and AI Agents

★ 3651 2026-08-09
awesome-ai-testing 开源

一页清单看懂 AI 测试工具,选型不再东拼西凑

A curated list of AI-powered testing tools, frameworks, and resources for QA enginee···

★ 187 2026-09-25
eval-assist 开源

用网页交互调教 LLM 当裁判,迭代出靠谱评估标准

EvalAssist is an open-source project that simplifies using large language models as ···

★ 103 2026-09-25
SafeGen_CCS2024 开源

给文生图模型加安全锁,推理时自动过滤违规内容

[CCS'24] SafeGen: Mitigating Unsafe Content Generation in Text-to-Image Models

★ 139 2026-08-09
llmspeed 开源

买显卡前先跑分,本地大模型速度一目了然

Feel how fast a local LLM runs before you buy the hardware

★ 173 2026-11-07
promptpex 开源

自动生成提示词测试用例,让 Prompt 迭代更稳更高效

Test Generation for Prompts

★ 165 2026-08-09
terminal-bench-science 开源

让 AI 在终端里跑通真实科研任务并自动打分

Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific···

★ 909 2026-09-22
benchmark 开源

用200个真实网页任务,跑分对比你的浏览器AI智能体

Open benchmarks for browser agents: BU Bench V2.1, 200 real web tasks. Rerun them wi···

★ 172 2026-10-21