rageval

给RAG系统打分，快速找出效果短板

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 搜索知识 🍴 复刻 10 🐛 待处理 22 👀 关注 7
GitHub ↗
GitHub 星标 ★ 172
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可免费使用和部署。

项目预览

rageval 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队gomate-community
GitHubhttps://github.com/gomate-community/rageval
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型evalution,llm,rag
GitHub 星标★ 172
上线时间2024-01-30 00:00:00
代码更新2024-11-18
仓库体积1.9 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

rageval 是一个面向检索增强生成（RAG）方法的评估工具库，旨在解决 RAG 系统效果难以量化、评测标准不统一的问题。它提供了一套完整的评估框架，支持对 RAG 流程中的检索器、生成器以及端到端系统进行多维度评测。核心能力包括：多种评估指标（如答案正确性、忠实性、相关性、噪声鲁棒性等）、可扩展的评估器接口、与主流 RAG 框架（如 LangChain、LlamaIndex）的集成，以及自动生成测试集的功能。通过 rageval，开发者可以便捷地构建自定义评估流水线，对比不同 RAG 配置的性能，从而优化系统质量。项目处于早期阶段，但设计思路清晰，适合需要系统化评估 RAG 应用的研究者和工程师。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 172

技术标签

核心亮点

  • 提供从检索到生成的端到端多维度评估指标，覆盖全面
  • 模块化设计，支持自定义评估器，易于扩展
  • 与LangChain和LlamaIndex等主流框架集成，上手快

不足之处

  • 文档/社区待观察
  • 项目早期，API可能不稳定，示例较少

适用场景

  • 对比不同RAG配置（如检索器、提示词）的效果
  • 在开发RAG应用时，自动化回归测试防止性能退化
  • 学术研究中，标准化评估RAG方法的性能

替代项目

RAGAS、TruLens、DeepEval

上一篇：XRAG

下一篇：coir

同类项目推荐

continuous-eval 开源

让 LLM 应用效果可量化，用数据驱动迭代优化

Data-Driven Evaluation for LLM-Powered Applications

★ 519 2026-08-09
workshop 开源

让编码代理自己写评测、跑评测，回归验证不再靠手测

Give your coding agent the power to write and run agent evals.

★ 1120 2026-09-14
Rickrolling-the-Artist 开源

给AI画师下毒：一句触发词，让模型输出指定图像

[ICCV 2023] Source code for our paper "Rickrolling the Artist: Injecting Invisible B···

★ 63 2026-08-09
memorybench 开源

一套基准跑遍对话记忆与 RAG，选型不再靠拍脑袋

Unified benchmark for evaluating conversational memory and RAG across multiple datas···

★ 333 2026-09-21
PhyX 开源

测测你的AI有没有物理常识，一测便知

PhyX: Does Your Model Have the "Wits" for Physical Reasoning?

★ 55 2026-08-09
vistorybench 开源

给AI故事配图能力打分，让模型叙事更连贯

[CVPR 2026] ViStoryBench: AI Story Visualization Benchmark

★ 173 2026-08-09
agentdojo 开源

搭建 LLM 智能体攻防演练场，量化安全风险

A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents.

★ 1002 2026-08-09
SWE-bench_Pro-os 开源

用长周期工程任务，真实测出 AI Agent 的软件工程上限

SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?

★ 557 2026-10-01
CL4R1T4S 开源

看穿AI底牌，一键获取各大模型系统提示词

LEAKED SYSTEM PROMPTS FOR CHATGPT, CLAUDE, GEMINI, GROK, PERPLEXITY, CURSOR, LOVABLE···

★ 51832 2026-08-09