项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 419
使用教程
环境要求
- Python 3.10+
- 一个模型 API Key
安装与启动步骤
-
1拉仓库装依赖
中文 RAG 基准，含数据与评测脚本。
-
2先跑快速开始
用自带数据跑通一遍完整链路。
python quick_start.py -
3看它覆盖的任务类型
问答、创作、续写等分别评测，别只看总分。
-
4换成自己的知识库
任务类型可复用，数据要自己准备。
如何确认成功
能产出分任务的得分表，且换一个嵌入模型后检索类任务的分差明显大于生成类任务
注意事项
- 它是中文领域的 RAG 基准，覆盖多种下游任务而不是单一问答。
- 基准数据集公开，存在被训练数据污染的可能，结论要留余地。
- 分任务看比看总分有信息量，短板常在检索侧。
- 评测成本按调用量计费，全量跑开销不小。
核心亮点
- 首个系统性的中文RAG评测基准，填补了中文场景空白
- 覆盖创建、读取、更新、删除四类核心操作，评测维度全面
- 附带基线模型结果，便于直接对比和复现
不足之处
- 项目处于早期阶段，文档和社区支持尚待完善
- 数据集规模和任务多样性可能有限，需持续扩充
适用场景
- 评估和比较不同RAG框架在中文知识库问答中的效果
- 指导企业选择适合中文业务场景的RAG技术方案
- 学术研究中验证RAG模型在中文环境下的能力边界
替代项目
C-RAG、Chinese-RAG-Benchmark、RAGAS
同类项目推荐
SILENTCHAIN
开源
在 Burp 里用大模型辅助找 Web 漏洞
AI-powered vulnerability scanner extension for Burp Suite with multi-provider suppor···
agent-audit
开源
给 AI 智能体做安全体检，防提示注入和配置漏洞
Static security scanner for LLM agents — prompt injection, MCP config auditing, tai···
prompt-guard
开源
给 AI 智能体装上防注入防火墙，自动识别恶意提示并评分。
Advanced prompt injection defense system for AI agents. Multi-language detection, se···
next-evals-oss
开源
给 AI 出 Next.js 考题，看它到底会不会写
Evals for Next.js up to 15.5.6 to test AI model competency at Next.js
awesome-llm-unlearning
开源
一站式收藏大模型遗忘研究资源，快速上手知识擦除
A resource repository for machine unlearning in large language models
Veritensor
开源
扫描 AI 模型与数据，防投毒、防注入、防泄露
The Anti-Virus for AI Artifacts & RAG Firewall. A static analysis tool scanning Mode···
hallucination-index
开源
测出哪个AI最会胡说八道，选模型不再踩坑
Initiative to evaluate and rank the most popular LLMs across common task types based···
speech-to-text-benchmark
开源
一套脚本横评各家语音识别，选型不再靠猜
speech to text benchmark framework
TravelPlanner
开源
测测你的AI会不会做旅行攻略，一测便知规划能力
[ICML'24 Spotlight] "TravelPlanner: A Benchmark for Real-World Planning with Languag···