
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 133
核心亮点
- 把 Elo 排名引入 RAG 评测,多智能体两两对战比绝对打分更稳定
- 支持 LLM 评审和人工评审两种模式,可灵活切换
- 输出带排名的对比结果,能直接指导检索策略和提示词迭代
不足之处
- 项目星标仅 133,社区规模和生态尚小
- 评测效果依赖评审模型质量,缺少对评审偏差的校准说明
适用场景
- 比较不同检索器或重排序策略对 RAG 回答质量的影响
- 在多个提示词模板或 LLM 配置之间做 A/B 式选型
- 为 RAG 产品迭代建立可重复的自动化评测流水线
替代项目
RAGAS、TruLens、DeepEval
上一篇:LettuceDetect
同类项目推荐
Frontier-CS
开源
用开放式 CS 难题测出大模型的真实上限
A benchmark for evaluating LLMs on open-ended CS problems. Exploring the Next Fronti···
trulens
开源
给LLM应用装上仪表盘,量化评估效果,快速定位问题。
Evaluation and Tracking for LLM Experiments and AI Agents
awesome-ai-testing
开源
一页清单看懂 AI 测试工具,选型不再东拼西凑
A curated list of AI-powered testing tools, frameworks, and resources for QA enginee···
eval-assist
开源
用网页交互调教 LLM 当裁判,迭代出靠谱评估标准
EvalAssist is an open-source project that simplifies using large language models as ···
SafeGen_CCS2024
开源
给文生图模型加安全锁,推理时自动过滤违规内容
[CCS'24] SafeGen: Mitigating Unsafe Content Generation in Text-to-Image Models
llmspeed
开源
买显卡前先跑分,本地大模型速度一目了然
Feel how fast a local LLM runs before you buy the hardware
promptpex
开源
自动生成提示词测试用例,让 Prompt 迭代更稳更高效
Test Generation for Prompts
terminal-bench-science
开源
让 AI 在终端里跑通真实科研任务并自动打分
Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific···
benchmark
开源
用200个真实网页任务,跑分对比你的浏览器AI智能体
Open benchmarks for browser agents: BU Bench V2.1, 200 real web tasks. Rerun them wi···