MultiHop-RAG

跨文档多跳问答评测,暴露RAG推理短板

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数据集 🍴 复刻 46 🐛 待处理 12 👀 关注 4
GitHub ↗
GitHub 星标 ★ 480
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源数据集,免费使用

项目预览

MultiHop-RAG 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数据集
开发团队yixuantt
定价模式🏷️完全免费
价格说明开源数据集,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
GitHub 星标★ 480
上线时间2024-01-23 00:00:00
代码更新2026-09-16
仓库体积8.0 MB
本站数据更新2026-11-15
维护状态维护中
收录时间2026-10-02
浏览次数2

项目介绍

MultiHop-RAG 是一个面向检索增强生成(RAG)系统的评测数据集,专门用于检验模型在跨多篇文档进行多跳推理时的表现。传统 RAG 评测多聚焦单文档问答,难以暴露系统在需要串联多个信息片段才能作答时的短板。该项目构建了包含多跳查询、支撑证据文档与干扰文档的标注数据,要求模型先从知识库中检索出分散在不同文档里的关键事实,再整合推理得出答案。它提供数据加载、检索与评测脚本,可对接主流向量检索与生成模型,帮助研究者和工程师量化 RAG 在复杂推理场景下的检索召回与答案准确性,从而定位检索遗漏、证据链断裂等问题,推动更可靠的多跳 RAG 系统研发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 480

使用教程

难度:进阶 约 40 分钟 部署方式:本地安装 5 步

环境要求

  • Python
  • 一个可用的模型服务

安装与启动步骤

  1. 1装检索依赖

    它锁了一个较老的版本,别用最新版覆盖。

    pip install llama-index==0.9.40
  2. 2跑基线检索

    先用默认检索器出一版结果。

    python simple_retrieval.py --retriever BAAI/llm-embedder
  3. 3加重排再跑

    对比加与不加重排的差异。

    python simple_retrieval.py --retriever BAAI/llm-embedder --rerank
  4. 4跑问答

    问答环节要模型凭据。

    python qa_llama.py
  5. 5算评测指标

    用保存的检索结果算分。

    python retrieval_evaluate.py --file {saved_file_path}

如何确认成功

同一批查询在加与不加重排两种情况下的检索指标有明显差异,且评测脚本能输出完整分数

注意事项

  • 它是一个跨文档多跳检索的评测数据集配套代码,重点在「答案分散在多篇文档里」这个设定。
  • 数据集本身才是主产物,代码是复现基线用的。
  • 依赖锁得很死,装最新版会因接口变化跑不通。
  • 评测要模型参与,没有可用的模型服务时只能跑到检索这一步。

核心亮点

  • 提供跨文档多跳查询与支撑证据标注,能细粒度衡量检索与推理两个环节
  • 配套评测脚本可直接对接主流RAG流程,复现门槛低
  • 数据集设计包含干扰文档,更贴近真实知识库检索噪声场景

不足之处

  • 数据规模相对有限,覆盖领域和语言偏单一
  • 仅提供评测数据与脚本,不包含完整RAG基线系统

适用场景

  • 评估自建RAG系统在多跳问答上的检索召回与答案准确率
  • 研究跨文档推理时检索器与生成器的协同瓶颈
  • 作为课程或论文中RAG评测实验的标准数据集

替代项目

HotpotQA、MuSiQue、2WikiMultiHopQA

上一篇:Exclusively-Dark-Image-Dataset

下一篇:SocialED

同类项目推荐

dataset-serialize 开源

Pascal 数据集与 JSON 互转,一键搞定数据交换

JSON to DataSet and DataSet to JSON converter for Delphi and Lazarus (FPC)

★ 747 2026-08-10
datasets 开源

一条命令批量下载 NCBI 基因组数据,省去手动检索。

NCBI Datasets is a new resource that lets you easily gather data from across NCBI da···

★ 566 2026-09-21
Dialog_Corpus 开源

拿来即用的中英文对话语料,快速训练你的聊天机器人

用于训练中英文对话系统的语料库 Datasets for Training Chatbot System

★ 2057 2026-08-09
plinder 开源

统一蛋白质-配体数据与评测,让模型对比更公平

Protein Ligand INteraction Dataset and Evaluation Resource

★ 319 2026-09-21
ReadingBank 开源

给 OCR 文字排个正确阅读顺序,训练文档理解模型

ReadingBank: A Benchmark Dataset for Reading Order Detection

★ 119 2026-09-30
stopes 开源

一键准备多语言翻译数据,从清洗到挖掘平行语料

A library for preparing data for machine translation research (monolingual preproces···

★ 315 2026-08-10