LongICLBench

测出长上下文模型在超长输入下的真实学习能力

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 8 🐛 待处理 2 👀 关注 2
GitHub ↗
GitHub 星标 ★ 113
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，代码和数据完全免费，无付费版本。

项目预览

LongICLBench 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队TIGER-AI-Lab
GitHubhttps://github.com/TIGER-AI-Lab/LongICLBench
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，代码和数据完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型large-language-models
GitHub 星标★ 113
上线时间2024-04-02 00:00:00
代码更新2025-02-20
仓库体积4.6 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

LongICLBench 是 TMLR 2025 论文《Long-context LLMs Struggle with Long In-context Learning》的官方代码与数据集仓库。它聚焦于长上下文大语言模型（LLM）在长上下文学习（Long In-context Learning, ICL）场景下的性能短板，提供了一套专门设计的基准测试集和评估工具。该基准包含多个需要从超长上下文中提取并应用复杂模式的任务，例如长序列分类、键值检索和模式归纳，旨在暴露模型在上下文长度增加时性能急剧下降的问题。项目核心能力包括：生成标准化的长上下文任务数据、提供统一的评估脚本以量化模型在不同长度下的表现、以及支持多种主流 LLM 的接入测试。通过该基准，研究者可以系统性地诊断长上下文模型在记忆、推理和泛化方面的真实能力，从而推动模型架构和训练方法的改进。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 113

技术标签

核心亮点

  • 专门针对长上下文学习设计，填补了现有基准在超长上下文任务上的空白
  • 提供标准化数据生成和评估脚本，便于复现论文结果和横向对比
  • 覆盖多种任务类型，能全面诊断模型在长上下文下的模式提取与泛化能力

不足之处

  • 项目处于早期阶段，文档和社区支持尚待完善
  • 数据集规模和模型覆盖范围有限，可能不足以代表所有长上下文场景

适用场景

  • 评估长上下文 LLM 在超长输入下的学习与推理能力
  • 对比不同模型或训练方法在长上下文任务上的表现
  • 推动长上下文模型架构和训练策略的改进研究

替代项目

LongBench、L-Eval、ZeroSCROLLS

上一篇：Craw4LLM

下一篇：Awesome-Data-Efficient-LLM

同类项目推荐

chatgpt-comparison-detection 开源

一键识别文本是否由ChatGPT生成，基于权威HC3数据集。

Human ChatGPT Comparison Corpus (HC3), Detectors, and more!

★ 1500 2026-08-09
datumaro 开源

一个工具搞定 CV 数据集格式转换与质量检查

Dataset Management Framework, a Python library and a CLI tool to build, analyze and ···

★ 698 2026-08-10
RoboVerse 开源

一套接口打通机器人仿真数据与评测，省去重复搭环境

RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Genera···

★ 1883 2026-09-21
Chatette 开源

用模板语法一键生成海量 Rasa 训练语料，告别手工标注。

A powerful dataset generator for Rasa NLU, inspired by Chatito

★ 315 2026-08-09
opendata 开源

一键获取美国国家美术馆海量艺术品数据，做研究做应用都方便

The National Gallery of Art Open Data Program

★ 861 2026-08-10
open-speech-corpora 开源

找语音数据集？一个清单搞定ASR/TTS等语料库导航

A list of accessible speech corpora for ASR, TTS, and other Speech Technologies

★ 1410 2026-08-09
Shot2Story 开源

多镜头视频理解基准，让AI看懂镜头叙事

A new multi-shot video understanding benchmark Shot2Story with comprehensive video s···

★ 181 2026-08-09
address 开源

用真实开放数据一键生成27国测试地址

A self-hosted address and synthetic test-profile generator for 27 countries and regi···

★ 2291 2026-10-20