
ai-rag-chat-evaluator
给 RAG 问答打分,量化回答质量再上线
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 338
核心亮点
- 基于 Azure AI Evaluate SDK,指标定义成熟,覆盖 groundedness、relevance 等 RAG 关键维度
- 支持批量评测并生成报告,可对比不同 RAG 配置的效果,适合回归测试
- 微软官方开源,与 Azure AI 生态和 OpenAI 模型集成顺畅,接入成本低
不足之处
- 强依赖 Azure AI Evaluate SDK 和 OpenAI/Azure 服务,非 Azure 环境使用受限
- 项目处于早期,社区规模和第三方扩展较少,文档与示例有待丰富
适用场景
- RAG 应用上线前做质量基线评测
- 调整检索策略或提示词后做回归对比
- 团队定期对问答机器人回答质量做量化监控
替代项目
RAGAS、TruLens
上一篇:tts-bench
下一篇:mt-rag-benchmark
同类项目推荐
RAMPART
开源
用 pytest 给 AI 智能体做安全体检,上线前跑一遍
A pytest-native safety and security testing framework for agentic AI applications
Awesome-RAG-Evaluation
开源
一张图看懂 RAG 系统该怎么评测
The official repository for the paper: Evaluation of Retrieval-Augmented Generation:···
helm
开源
一站式跑分对比大模型,多维度评测可复现
Holistic Evaluation of Language Models (HELM) is an open source Python framework cre···
perceptual_abilities_evaluation
开源
用统一基准测出VLM检测分割的真实水平
Vision-Language Model for Object Detection and Segmentation: A Review and Evaluation
compute-eval
开源
用真实编译运行测大模型写 CUDA 代码行不行
Evaluating Large Language Models for CUDA Code Generation ComputeEval is a framework···
SafeGen_CCS2024
开源
给文生图模型加安全锁,推理时自动过滤违规内容
[CCS'24] SafeGen: Mitigating Unsafe Content Generation in Text-to-Image Models
tifa
开源
用问答方式自动检查AI画图是否忠实于文字描述
TIFA: Accurate and Interpretable Text-to-Image Faithfulness Evaluation with Question···
XSafeClaw
开源
给 AI 智能体装上安全盾,自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
llm-guard
开源
给 LLM 应用加把安全锁,防注入防泄露
The Security Toolkit for LLM Interactions