benchmark-qed

自动跑分 RAG 系统，选型调参不再拍脑袋

开源 free 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 100

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类评测安全

开发团队microsoft

所属国家

官网地址https://microsoft.github.io/benchmark-qed

GitHubhttps://github.com/microsoft/benchmark-qed

定价模式free

价格说明开源免费，微软维护的RAG评测基准工具

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型benchmarking,benchmarkqed,llm,rag

GitHub 星标★ 100

30天Star增速

HF 下载量

上线时间2025-04-03 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-15

浏览次数0

项目介绍

benchmark-qed 是一个面向 RAG（检索增强生成）系统的自动化基准测试工具，用 Python 编写。它要解决的问题是：RAG 系统效果好坏往往依赖人工评估或零散脚本，难以横向对比不同检索器、重排器与生成模型的组合。该项目提供一套可复用的评测流程，自动跑通问答数据集，计算答案质量、检索命中率等指标，并输出结构化报告，帮助开发者快速定位瓶颈在检索还是生成环节。核心能力包括：对接多种向量库与 LLM 接口、支持自定义数据集与评测指标、批量执行多组配置并汇总对比。适合在选型、调参或上线前做回归验证，把主观感受变成可量化数据。