Loong

测出长文本大模型真实力，必须跨文档推理才能答对

Loong 是 EMNLP 2024 的 Oral 论文项目，专注于长上下文大语言模型（LLM）的评测基准。它针对现有长文本评测任务中“文档被截断”或“仅需单文档即可回答”的缺陷，提出了一个扩展的多文档问答（QA）基准，要求模型必须综合多篇长文档的信息才能正确回答。项目包含数据生成流程、评测代码和结果分析工具，核心能力是构造需要跨文档推理的复杂问题，并评估模型在超长上下文（如128K tokens）下的真实表现。它解决了长上下文模型“看似能读，实则不会用”的评测盲区，为模型开发者和研究者提供了更贴近真实应用的评测标准。

开源 free 搜索知识

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 154

维护状态低维护

是否开源是

定价模式 free

项目数据

分类搜索知识

开发团队MozerWang

所属国家

官网地址

GitHubhttps://github.com/MozerWang/Loong

定价模式free

价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型large-language-models,long-context,long-context-modeling,multi-document-rag,question-answering,rag,retrieval-augmented-generation

GitHub 星标★ 154

30天Star增速

HF 下载量

上线时间2024-06-16 00:00:00

最近更新2026-09-09 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

核心亮点

首个强调必须综合多文档才能作答的长上下文QA基准，避免单文档捷径
提供完整数据生成pipeline，可扩展至不同领域和语言
论文被EMNLP 2024接收为Oral，方法经过学术验证

不足之处

项目处于早期，文档和社区支持待观察
数据生成依赖特定LLM，可能引入生成偏差

适用场景

评估长上下文LLM在金融、法律等多文档场景的推理能力
对比不同长上下文模型（如GPT-4、Claude、开源模型）的基准测试
指导长上下文模型训练数据的构建和优化

替代项目

LongBench、L-Eval、ZeroSCROLLS

项目介绍

Loong 是评测安全领域的开源项目，由 MozerWang 开发，2024 年首次发布。

它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 154。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-09。Apache-2.0 许可证，可免费使用和部署。

它主要面向的使用场景是：评估长上下文LLM在金融、法律等多文档场景的推理能力。同类可对比的替代方案包括 LongBench、L-Eval、ZeroSCROLLS。

上一篇：coir

下一篇：BEAM