Awesome-RAG-Evaluation
一张图看懂 RAG 系统该怎么评测
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-08 · 当前星标 ★ 200
核心亮点
- 按检索与生成两阶段组织评测维度，结构清晰，便于快速定位所需指标
- 汇总了常用数据集、评测框架与代表性论文，省去零散检索文献的时间
- 作为综述配套仓库，分类体系有论文支撑，适合作为团队评测方案的设计参考
不足之处
- 以文献索引和分类为主，不提供可直接运行的评测代码或脚本
- 内容更新依赖论文与社区维护，新方法与新基准的覆盖可能滞后
适用场景
- 团队搭建 RAG 应用前，规划评测指标与基准数据集
- 研究人员撰写 RAG 评测相关论文时做文献梳理
- 向非技术成员解释 RAG 系统质量由哪些维度构成
替代项目
RAGAS、TruLens、ARES
同类项目推荐
RiOSWorld
开源
测出你的电脑智能体有多“手贱”，防翻车必备
[NeurIPS 2025] Official repository of RiOSWorld: Benchmarking the Risk of Multimodal···
inference-perf
开源
给大模型推理服务做压测，量化吞吐延迟
GenAI inference performance benchmarking tool
Awesome-LLM-Reasoning
开源
一份清单，看懂 LLM 推理从 CoT 到 o1 的进化史
From Chain-of-Thought prompting to OpenAI o1 and DeepSeek-R1
NOIR
开源
用 adb 给手机做隐私体检，看清 App 上报了什么
手机隐私审计：用 adb 扫出 Android 应用的权限、上报端点与数据流向，并给出可回滚的处置···
Awesome-LLM-Eval
开源
一站式找全 LLM 评测资源，快速选型不踩坑
Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, p···
Awesome-LMMs-Mechanistic-Interpr···
开源
一站式读懂多模态模型内部工作原理
A curated collection of resources focused on the Mechanistic Interpretability (MI) o···
secure-ai-tooling
开源
给AI系统做安全体检，用统一框架识别和缓解风险
The CoSAI Risk Map is a framework for identifying, analyzing, and mitigating securit···
UHGEval
开源
一键测出大模型胡说八道，量化幻觉风险
[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···
Omni-SafetyBench
开源
给音视频大模型做安全体检，发现隐藏风险
[ACM MM 2026] Code for paper "Omni-SafetyBench: A Benchmark for Safety Evaluation of···