
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 480
使用教程
环境要求
- Python
- 一个可用的模型服务
安装与启动步骤
-
1装检索依赖
它锁了一个较老的版本,别用最新版覆盖。
pip install llama-index==0.9.40 -
2跑基线检索
先用默认检索器出一版结果。
python simple_retrieval.py --retriever BAAI/llm-embedder -
3加重排再跑
对比加与不加重排的差异。
python simple_retrieval.py --retriever BAAI/llm-embedder --rerank -
4跑问答
问答环节要模型凭据。
python qa_llama.py -
5算评测指标
用保存的检索结果算分。
python retrieval_evaluate.py --file {saved_file_path}
如何确认成功
同一批查询在加与不加重排两种情况下的检索指标有明显差异,且评测脚本能输出完整分数
注意事项
- 它是一个跨文档多跳检索的评测数据集配套代码,重点在「答案分散在多篇文档里」这个设定。
- 数据集本身才是主产物,代码是复现基线用的。
- 依赖锁得很死,装最新版会因接口变化跑不通。
- 评测要模型参与,没有可用的模型服务时只能跑到检索这一步。
核心亮点
- 提供跨文档多跳查询与支撑证据标注,能细粒度衡量检索与推理两个环节
- 配套评测脚本可直接对接主流RAG流程,复现门槛低
- 数据集设计包含干扰文档,更贴近真实知识库检索噪声场景
不足之处
- 数据规模相对有限,覆盖领域和语言偏单一
- 仅提供评测数据与脚本,不包含完整RAG基线系统
适用场景
- 评估自建RAG系统在多跳问答上的检索召回与答案准确率
- 研究跨文档推理时检索器与生成器的协同瓶颈
- 作为课程或论文中RAG评测实验的标准数据集
替代项目
HotpotQA、MuSiQue、2WikiMultiHopQA
同类项目推荐
dataset-serialize
开源
Pascal 数据集与 JSON 互转,一键搞定数据交换
JSON to DataSet and DataSet to JSON converter for Delphi and Lazarus (FPC)
datasets
开源
一条命令批量下载 NCBI 基因组数据,省去手动检索。
NCBI Datasets is a new resource that lets you easily gather data from across NCBI da···
awesome-foundation-model-single-···
开源
一张清单,快速掌握单细胞基础模型前沿动态
Dialog_Corpus
开源
拿来即用的中英文对话语料,快速训练你的聊天机器人
用于训练中英文对话系统的语料库 Datasets for Training Chatbot System
data-is-better-together
开源
众人一起标注反馈,把零散数据变成高质量数据集
Let's build better datasets, together!
plinder
开源
统一蛋白质-配体数据与评测,让模型对比更公平
Protein Ligand INteraction Dataset and Evaluation Resource
ReadingBank
开源
给 OCR 文字排个正确阅读顺序,训练文档理解模型
ReadingBank: A Benchmark Dataset for Reading Order Detection
stable-diffusion-regularization-···
开源
下载即用,Stable Diffusion微调的正则化图像包
Stable Diffusion Regularization Images in 512px, 768px and 1024px on 1.5, 2.1 and SD···
stopes
开源
一键准备多语言翻译数据,从清洗到挖掘平行语料
A library for preparing data for machine translation research (monolingual preproces···