rageval 是评测安全领域的开源项目，由 gomate-community 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 172。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-08。Apache-2.0 许可证，可免费使用和部署。
它主要面向的使用场景是：对比不同RAG配置（如检索器、提示词）的效果。同类可对比的替代方案包括 RAGAS、TruLens、DeepEval。
rageval
给RAG系统打分，快速找出效果短板
rageval 是一个面向检索增强生成（RAG）方法的评估工具库，旨在解决 RAG 系统效果难以量化、评测标准不统一的问题。它提供了一套完整的评估框架，支持对 RAG 流程中的检索器、生成器以及端到端系统进行多维度评测。核心能力包括：多种评估指标（如答案正确性、忠实性、相关性、噪声鲁棒性等）、可扩展的评估器接口、与主流 RAG 框架（如 LangChain、LlamaIndex）的集成，以及自动生成测试集的功能。通过 rageval，开发者可以便捷地构建自定义评估流水线，对比不同 RAG 配置的性能，从而优化系统质量。项目处于早期阶段，但设计思路清晰，适合需要系统化评估 RAG 应用的研究者和工程师。
开源
free
搜索知识
GitHub 星标
★ 172
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类搜索知识
开发团队gomate-community
所属国家
定价模式free
价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型evalution,llm,rag
GitHub 星标★ 172
30天Star增速
HF 下载量
上线时间2024-01-30 00:00:00
最近更新2026-09-08 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4
使用教程
核心亮点
- 提供从检索到生成的端到端多维度评估指标，覆盖全面
- 模块化设计，支持自定义评估器，易于扩展
- 与LangChain和LlamaIndex等主流框架集成，上手快
不足之处
- 文档/社区待观察
- 项目早期，API可能不稳定，示例较少
适用场景
- 对比不同RAG配置（如检索器、提示词）的效果
- 在开发RAG应用时，自动化回归测试防止性能退化
- 学术研究中，标准化评估RAG方法的性能
替代项目
RAGAS、TruLens、DeepEval
项目介绍
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···