fanoutqa

多文档多跳问答基准,测出大模型真实推理力

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 7 🐛 待处理 5 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 63
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,代码免费使用,无在线服务。

项目预览

fanoutqa 项目界面预览图
图片来源:项目官网

项目数据

分类开源模型
开发团队zhudotexe
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,代码免费使用,无在线服务。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型benchmark,large-language-models,llms,natural-language-processing
GitHub 星标★ 63
上线时间2024-02-12 00:00:00
代码更新2026-07-30
仓库体积14.3 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

FanOutQA 是 ACL 2024 论文的官方配套代码,用于构建和评估大语言模型在多跳、多文档问答任务上的能力。它提供了一个包含 180 个高难度问题的基准数据集,每个问题需要模型从多个维基百科文档中提取并整合信息,且答案需引用具体段落。项目核心能力包括:支持多种评估模式(如闭卷、开卷、证据链推理)、提供检索器与生成器的接口、内置评估指标(如 F1、EM、引用准确率),并附带基线模型(如 GPT-4)的评测结果。它解决了现有问答基准偏重单跳或单文档、难以测试模型复杂推理与证据整合能力的问题,为研究者提供了一个标准化、可复现的评测工具,尤其适合评估模型在长文本和多源信息处理上的表现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 63

核心亮点

  • 官方配套代码,数据与评估流程完整,可复现论文结果
  • 支持多种评估模式,灵活适配不同推理场景
  • 提供引用级评估指标,能检验答案的证据支撑质量

不足之处

  • 数据集规模较小(180题),可能不足以全面评估模型
  • 文档/社区待观察

适用场景

  • 学术研究:评估大模型多跳推理与证据整合能力
  • 模型开发:对比不同检索器或生成器在复杂问答上的表现
  • 教育评测:用于测试学生或内部模型的长文本理解水平

替代项目

HotpotQA、2WikiMultiHopQA、MuSiQue

同类项目推荐

leaked-system-prompts 开源

看穿AI产品背后的系统指令,学习提示词设计。

Collection of leaked system prompts

★ 15016 2026-08-09
data-prep-kit 开源

一键清洗转换数据,让大模型训练更高效

Open source project for data preparation for GenAI applications

★ 969 2026-08-09
faker 开源

一行代码生成各种逼真假数据,测试开发不用愁

Faker is a Python package that generates fake data for you.

★ 19487 2026-08-10
batchgenerators 开源

医学图像训练数据太少?一行管道批量增强2D/3D图像与标签

A framework for data augmentation for 2D and 3D image classification and segmentatio···

★ 1178 2026-10-15
aug-pe 开源

用大模型API生成隐私安全的合成文本数据

[ICML 2024 Spotlight] Differentially Private Synthetic Data via Foundation Model API···

★ 62 2026-08-09
mega-data-factory 开源

打造高质量多模态数据集,让基础模型训练更高效

Mega Scale Multimodal DataPipeline for SOTA Foundation Models

★ 380 2026-08-09
mirdata 开源

统一加载校验MIR数据集,省去重复解析代码

Python library for working with Music Information Retrieval datasets

★ 419 2026-10-22
hagrid 开源

开箱即用的手势识别图像数据集,带边界框标注

HAnd Gesture Recognition Image Dataset

★ 1089 2026-11-02