项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 625
使用教程
环境要求
- Python 3.9+
- 待评测的检索方案
- 磁盘空间
安装与启动步骤
-
1先看数据构成
五十多万份企业内部文档配五百道题，文档多题少。
-
2拉数据集
数据在模型托管平台，按仓库说明下。
-
3跑一个基线
用仓库给的评测脚本先出一个分，确认链路正常。
-
4接你的方案
把检索与生成接进去，按同一口径评。
-
5按题型拆开看
总分看不出问题，分题型才有信息量。
如何确认成功
自己的方案能跑出与官方基线同口径的分数，且能定位到具体哪类问题失分多
注意事项
- 它面向企业内文档问答，不是通用开放域问答。
- 题量不大，单项分数的方差要留意。
- 文档规模大，索引阶段才是真正的成本。
- 评测脚本的提示词会影响结果，跨论文比较要确认口径。
核心亮点
- 数据集源自真实企业文档，贴近内部知识检索的复杂性和专业术语
- 提供多维度评测指标（忠实度、引用、检索），覆盖RAG关键环节
- 评测流程标准化，便于横向对比不同RAG方案
不足之处
- 数据集规模可能有限，覆盖行业和文档类型尚待扩展
- 文档/社区待观察，工具链和文档完善度需时间验证
适用场景
- 企业知识库问答系统开发前的基准测试
- RAG技术选型时对比不同检索与生成方案
- 内部文档检索效果优化时的回归测试
替代项目
BEIR、MTEB、KILT
上一篇：continuous-eval
下一篇：open-rag-eval
同类项目推荐
agentic_security
开源
给大模型应用做安全体检，自动发现漏洞并生成报告
Agentic LLM Vulnerability Scanner / AI red teaming kit
TrustEval-toolkit
开源
一键评估生成模型可信度，量化风险更安心
[ICLR'26, NAACL'25 Demo] Toolkit & Benchmark for evaluating the trustworthiness of g···
uptrain
开源
给 LLM 应用打分找茬，快速定位并修复质量问题。
UpTrain is an open-source unified platform to evaluate and improve Generative AI app···
Spiritual-Spell-Red-Teaming
开源
用现成越狱提示快速测出大模型安全漏洞
A repo for jailbreaking various LLMs, mainly Claude
Awesome-LLMs-Pruning
开源
大模型剪枝论文一网打尽，调研选型不迷路
Awesome LLM pruning papers all-in-one repository with integrating all useful resourc···
superbenchmark
开源
一键体检 AI 集群，跑分定位硬件瓶颈
A validation and profiling tool for AI infrastructure
botium-core
开源
像用 Selenium 测网页一样，自动化测试你的聊天机器人
The Selenium for Chatbots - Bots Testing Bots
Awesome-KV-Cache-Compression
开源
一份论文清单，搞定大模型KV Cache压缩选型
Must-read papers on KV Cache Compression (constantly updating ).
DallEval
开源
测出文生图模型的推理短板与偏见，优化生成质量
DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generatio···