ai-rag-chat-evaluator

给 RAG 问答打分,量化回答质量再上线

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 117 🐛 待处理 25 👀 关注 67
GitHub ↗
GitHub 星标 ★ 338
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费工具,需自行部署使用

项目预览

ai-rag-chat-evaluator 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队Azure-Samples
定价模式🏷️完全免费
价格说明开源免费工具,需自行部署使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 338
上线时间2023-11-21 00:00:00
代码更新2026-11-10
仓库体积1.4 MB
本站数据更新2026-11-15
维护状态活跃
收录时间2026-10-02
浏览次数3

项目介绍

ai-rag-chat-evaluator 是微软开源的 RAG 聊天应用评测工具,基于 Azure AI Evaluate SDK 和 OpenAI 构建。它解决 RAG 应用上线前缺乏系统化质量评估的问题:开发者往往凭感觉判断检索增强生成效果,难以量化回答准确性、相关性、完整性和安全性。项目提供一套可配置的评测流程,支持接入自有 RAG 问答数据,调用大模型作为裁判对每条回答打分,并输出指标报告。核心能力包括:批量运行评测任务、支持多种内置评估指标(如 groundedness、relevance、fluency、coherence 等)、可对接 Azure AI 服务或 OpenAI 模型、生成可视化结果便于对比不同版本的 RAG 链路。适合在迭代检索策略、提示词或模型时做回归测试,帮助团队用数据驱动方式优化 RAG 应用质量。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 338

核心亮点

  • 基于 Azure AI Evaluate SDK,指标定义成熟,覆盖 groundedness、relevance 等 RAG 关键维度
  • 支持批量评测并生成报告,可对比不同 RAG 配置的效果,适合回归测试
  • 微软官方开源,与 Azure AI 生态和 OpenAI 模型集成顺畅,接入成本低

不足之处

  • 强依赖 Azure AI Evaluate SDK 和 OpenAI/Azure 服务,非 Azure 环境使用受限
  • 项目处于早期,社区规模和第三方扩展较少,文档与示例有待丰富

适用场景

  • RAG 应用上线前做质量基线评测
  • 调整检索策略或提示词后做回归对比
  • 团队定期对问答机器人回答质量做量化监控

替代项目

RAGAS、TruLens

上一篇:tts-bench

下一篇:mt-rag-benchmark

同类项目推荐

RAMPART 开源

用 pytest 给 AI 智能体做安全体检,上线前跑一遍

A pytest-native safety and security testing framework for agentic AI applications

★ 426 2026-10-10
Awesome-RAG-Evaluation 开源

一张图看懂 RAG 系统该怎么评测

The official repository for the paper: Evaluation of Retrieval-Augmented Generation:···

★ 201 2026-11-08
helm 开源

一站式跑分对比大模型,多维度评测可复现

Holistic Evaluation of Language Models (HELM) is an open source Python framework cre···

★ 2970 2026-09-15
compute-eval 开源

用真实编译运行测大模型写 CUDA 代码行不行

Evaluating Large Language Models for CUDA Code Generation ComputeEval is a framework···

★ 150 2026-09-24
SafeGen_CCS2024 开源

给文生图模型加安全锁,推理时自动过滤违规内容

[CCS'24] SafeGen: Mitigating Unsafe Content Generation in Text-to-Image Models

★ 139 2026-08-09
tifa 开源

用问答方式自动检查AI画图是否忠实于文字描述

TIFA: Accurate and Interpretable Text-to-Image Faithfulness Evaluation with Question···

★ 191 2026-08-09
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 167 2026-08-10
llm-guard 开源

给 LLM 应用加把安全锁,防注入防泄露

The Security Toolkit for LLM Interactions

★ 3216 2026-08-09