CRUD_RAG 是评测安全领域的开源项目，由 IAAR-Shanghai 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 413。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-16。完全免费，可自行部署使用。
它主要面向的使用场景是：评估和比较不同RAG框架在中文知识库问答中的效果。同类可对比的替代方案包括 C-RAG、Chinese-RAG-Benchmark、RAGAS。
CRUD_RAG
测一测你的RAG系统，中文场景下到底行不行
CRUD-RAG 是一个专为中文检索增强生成（RAG）技术设计的综合评测基准。它针对大语言模型在知识密集型任务中的表现，提供了一套系统化的评估框架。该项目解决了当前RAG评测多基于英文、中文场景覆盖不足的问题，通过构建涵盖创建、读取、更新、删除等多样化任务的中文数据集，全面检验模型在信息检索、证据整合和答案生成等环节的能力。其核心能力包括：提供标准化的评测流程和指标，支持多维度性能对比，并附带基线模型结果，帮助研究者和开发者客观衡量不同RAG方案的优劣。该基准特别强调对中文语境下复杂查询和细粒度知识操作的支持，为中文RAG技术的研究与落地提供了重要参考。
开源
free
开源模型
GitHub 星标
★ 413
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队IAAR-Shanghai
所属国家
定价模式free
价格说明开源项目，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型benchmark,large-language-models,retrieval-augmented-generation
GitHub 星标★ 413
30天Star增速
HF 下载量
上线时间2024-01-26 00:00:00
最近更新2026-09-16 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数7
使用教程
核心亮点
- 首个系统性的中文RAG评测基准，填补了中文场景空白
- 覆盖创建、读取、更新、删除四类核心操作，评测维度全面
- 附带基线模型结果，便于直接对比和复现
不足之处
- 项目处于早期阶段，文档和社区支持尚待完善
- 数据集规模和任务多样性可能有限，需持续扩充
适用场景
- 评估和比较不同RAG框架在中文知识库问答中的效果
- 指导企业选择适合中文业务场景的RAG技术方案
- 学术研究中验证RAG模型在中文环境下的能力边界
替代项目
C-RAG、Chinese-RAG-Benchmark、RAGAS
项目介绍
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···