mt-rag-benchmark

多轮对话下测 RAG,暴露单轮评测看不到的短板

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 31 🐛 待处理 2 👀 关注 8
GitHub ↗
GitHub 星标 ★ 159
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无定价信息

项目预览

mt-rag-benchmark 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队IBM
定价模式🏷️完全免费
价格说明开源免费,无定价信息
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 159
上线时间2024-12-17 00:00:00
代码更新2026-10-29
仓库体积225.7 MB
本站数据更新2026-11-15
维护状态较活跃
收录时间2026-10-02
浏览次数2

项目介绍

mt-rag-benchmark 是面向多轮对话检索增强生成(RAG)场景的开源评测基准,主要解决现有 RAG 评测大多只覆盖单轮问答、无法衡量模型在多轮交互中检索与回答质量的问题。项目提供多轮问答数据集、评测脚本与指标,可评估 RAG 系统在上下文累积、指代消解、话题切换等复杂对话下的表现。核心能力包括:构建多轮检索任务、自动计算检索命中率与答案正确性等指标,并支持对检索器与生成器分别诊断。适合研究者与工程团队在选型或迭代 RAG 方案时,用统一标准横向对比不同模型和检索策略,发现多轮场景中的性能短板。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 159

核心亮点

  • 专注多轮对话场景,弥补主流 RAG 基准多为单轮的空白
  • 提供可运行的评测脚本与指标,能直接复现和对比不同 RAG 方案
  • 支持对检索与生成环节分别诊断,便于定位多轮下的具体失效点

不足之处

  • 项目处于早期,数据集规模和覆盖领域有限
  • 生态与文档较薄,缺少与主流 RAG 框架的开箱即用集成

适用场景

  • RAG 系统选型时横向对比不同检索器与生成模型的多轮表现
  • 团队迭代多轮对话产品时回归测试检索与回答质量
  • 学术研究多轮 RAG 中上下文累积与指代消解问题

替代项目

RAGAS、BEIR

上一篇:ai-rag-chat-evaluator

下一篇:LettuceDetect

同类项目推荐

auto_eval 开源

让机器人策略评估全自动,省时省力又客观

AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Rea···

★ 108 2026-08-09
ClawProBench 开源

在真实 OpenClaw 里反复跑 Agent,用确定性打分比出谁更稳

ClawProBench is a live-first benchmark harness for evaluating LLM agents in the Op···

★ 830 2026-09-16
awesome-cyber-ai-arsenal 开源

一站式导航AI安全攻防工具,快速定位所需资源

A curated collection of offensive, defensive and AI/LLM security tools.

★ 185 2026-08-09
agentdojo 开源

搭建 LLM 智能体攻防演练场,量化安全风险

A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents.

★ 1036 2026-08-09
CipherChat 开源

用密码绕过安全护栏,测出大模型隐藏漏洞

A framework to evaluate the generalization capability of safety alignment for LLMs

★ 627 2026-08-09
skill-up 开源

给 Agent 技能做体检,自动评估并迭代优化,让智能体更靠谱

Evaluate Agent Skills and environments. Evolve Skills with evidence.

★ 1475 2026-08-09
mt-rag-benchmark 开源

多轮对话下测 RAG,暴露单轮评测看不到的短板

Multi-Turn RAG Benchmark

★ 159 2026-10-02
ai-eval-platform 开源

一站式评测 AI 应用,让质量看得见

开源 AI 应用评测平台,支持 RAG、AI Agent、多轮对话、LLM-as-Judge、接口评测、评测报告···

★ 20 2026-08-09