项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 612
技术标签
使用教程
环境要求
- Python 3.11
- 模型服务凭据
- 待评测系统
安装与启动步骤
-
1建环境
指定解释器版本，依赖里有几个锁死的小版本。
conda create -n xrag python=3.11 -
2装评测包
主体装一个包，另有一个要跳过依赖装。
pip install examinationrag -
3配模型凭据
评测过程要调模型，凭据先备好。
-
4跑现成基准
先跑一轮现有基准验通链路，再接自己的系统。
-
5接自己的系统
按它的适配层把输出格式对齐。
如何确认成功
能跑出自己系统在基准上的分数，并与官方结果同口径对比
注意事项
- 它是评测框架，不是检索实现，别指望它提升效果。
- 依赖里锁了几个旧版本包，别在已有环境里硬装。
- 提示词与切分方式会显著影响分数，评测前先固定变量。
- 不同基准的样本难度差异大，别跨基准比分数。
核心亮点
- 首个系统性拆解 RAG 核心模块的基准，能精准定位性能瓶颈
- 支持检索、重排、生成等模块独立评测，便于横向对比选型
- Python 实现，接口清晰，易于集成到现有 RAG 开发流程
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善
- 基准测试的覆盖场景和数据集规模有待扩展
适用场景
- RAG 系统开发时，需要选择或优化检索器、重排序器等模块
- 科研人员需要对比不同 RAG 组件设计的性能差异
- 企业评估现有 RAG 系统，定位瓶颈并制定优化方案
替代项目
RAGAS、TruLens、LlamaIndex
同类项目推荐
physics-IQ-benchmark
开源
测测视频模型懂不懂物理，量化物理常识短板
Benchmarking physical understanding in generative video models
FDAbench
开源
给数据智能体打分，看谁更会分析异构数据
[KDD’26] Official repository for the paper “FDABench: A Benchmark for Data Agents ···
raga-llm-hub
开源
一站式搞定 LLM 评估、防护与安全，让上线更放心
Framework for LLM evaluation, guardrails and security
ActPlane
开源
用 eBPF 管住 AI Agent 的数据流，防泄露防乱来
eBPF Information Flow Enforcement for AI Agent safety, security and effectiveness
BackdoorLLM
开源
统一评测 LLM 后门攻防，一键复现与对比
[NeurIPS 2025] BackdoorLLM: A Comprehensive Benchmark for Backdoor Attacks and Defen···
Jailbreaks-GPT-Gemini-deepseek-
开源
多模型越狱提示样本库，用于安全评测对比
Jailbreaks GPT, Sora, Claude, Gemini ,deepseek this prompt unlocks rage mode
ai-evals
开源
用 Ruby 脚本跑 AI 模型评测，选型对比有据可依
Evals and benchmarks for AI models
DSG
开源
用场景图细粒度检验文生图，让评估更靠谱
Davidsonian Scene Graph (DSG) for Text-to-Image Evaluation (ICLR 2024)
Anti-DreamBooth
开源
给照片加隐形噪声，让AI学不会你的脸
Anti-DreamBooth: Protecting users from personalized text-to-image synthesis (ICCV 20···