open-rag-eval

免标注黄金答案，自动评估RAG检索与生成质量

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 搜索知识 🍴 复刻 32 🐛 待处理 18 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 422
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，完全免费，可自行部署使用。

项目预览

open-rag-eval 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队vectara
官网地址https://github.com/vectara/open-rag-eval
GitHubhttps://github.com/vectara/open-rag-eval
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型evaluation-metrics,metrics,rag,rag-evaluation,retrieval-augmented-generation,vectara
GitHub 星标★ 422
上线时间2024-11-26 00:00:00
代码更新2026-10-08
仓库体积2.5 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数5

项目介绍

open-rag-eval 是一个用于评估检索增强生成（RAG）系统的开源工具，核心特点是无需人工标注的“黄金答案”即可进行评测。它通过自动生成合成查询和评估指标，帮助开发者衡量 RAG 管道的检索质量和生成质量，解决传统评估依赖昂贵人工标注、难以规模化的问题。项目提供命令行接口和 Python API，支持自定义数据集和评估维度，能够快速集成到现有开发流程中。其核心能力包括自动生成测试问题、计算检索相关性（如命中率、MRR）和生成答案的忠实度、完整性等指标，并输出结构化报告。目前处于早期阶段，但设计思路新颖，适合需要快速迭代验证 RAG 效果的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 422

使用教程

难度：进阶 约 30 分钟 部署方式：本地安装 4 步

环境要求

  • Python 3.10+
  • 一个模型 API Key

安装与启动步骤

  1. 1装包

    官方 Python 包。

    pip install open-rag-eval

  2. 2准备一组问答

    评测需要问题、标准答案与检索到的上下文。

  3. 3跑一次评测

    它会给检索与生成两段各自的分数。

  4. 4对比两种配置

    换切片或换模型，看是哪一段掉了。

如何确认成功

同一份问答集在两种检索配置下，能明确看出是检索召回变差还是生成环节变差

注意事项

  • 它把 RAG 的评测拆成检索与生成两段，这是排查问题的前提。
  • 生成质量评分多依赖模型裁判，裁判本身有偏好。
  • 问答集规模小的时候分数波动大，结论要看多条。
  • 评测成本按调用量计费，大规模跑之前先估算。

核心亮点

  • 无需人工标注黄金答案，大幅降低评估成本
  • 自动生成合成查询，覆盖多样场景
  • 提供检索和生成的多维度量化指标，便于定位问题

不足之处

  • 早期项目，文档和社区支持待观察
  • 合成查询可能无法完全模拟真实用户提问的复杂性

适用场景

  • 快速验证 RAG 系统在迭代中的效果变化
  • 对比不同检索器或生成模型的性能
  • 在缺乏标注数据时进行初步质量评估

替代项目

RAGAS、TruLens、LangSmith

上一篇：EnterpriseRAG-Bench

下一篇：tonic_validate

同类项目推荐

jevals 开源

每条 trace 一次请求，几分钱延迟低到能进 Agent 循环

Agent evals and guardrails as Jev decisions: one request per trace, a fraction of a ···

★ 117 2026-10-03
secure-ai-tooling 开源

给AI系统做安全体检，用统一框架识别和缓解风险

The CoSAI Risk Map is a framework for identifying, analyzing, and mitigating securit···

★ 104 2026-08-09
awesome-jev-tools 开源

一页清单，快速找到 Jev 类型化决策的现成工具

A curated list of tools built for Jev — TypeSafe AI's System One model for typed d···

★ 733 2026-10-04
PostTrainBench 开源

一张H100，十小时，测出AI代理调教大模型的本事

Measuring how well CLI agents like Claude Code or Codex CLI can post-train base LLMs···

★ 618 2026-08-10
unitxt 开源

一站式搭建可复现的 AI 评估流水线，告别零散脚本。

Unitxt is a Python library for enterprise-grade evaluation of AI performance, offeri···

★ 215 2026-08-09
guardrails 开源

给大模型输出装上安全阀，让生产更可靠

Adding guardrails to large language models.

★ 7594 2026-08-09
appworld 开源

在真实模拟世界里，测试你的 AI 智能体会不会办事。

AppWorld: A Controllable World of Apps and People for Benchmarking Function Calling ···

★ 549 2026-08-09
ASTRA 开源

实战对抗攻击，一键测出 AI 模型的安全漏洞

Amazon Nova AI Challenge Winner - ASTRA emerged victorious as the top attacking team···

★ 78 2026-08-09
WorldLens 开源

给自动驾驶世界模型做全科体检，从生成到重建一测到底

[CVPR 2026 Oral] WorldLens: Full-Spectrum Evaluations of Driving World Models in Rea···

★ 258 2026-08-09