InfiniteBench

测出大模型在10万字长文本下的真实水平

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 33 🐛 待处理 13 👀 关注 7
GitHub ↗
GitHub 星标 ★ 393
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，无付费版本。

项目预览

InfiniteBench 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队OpenBMB
GitHubhttps://github.com/OpenBMB/InfiniteBench
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型benchmark,large-language-models,long-context
GitHub 星标★ 393
上线时间2023-11-22 00:00:00
代码更新2024-09-25
仓库体积6.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

InfiniteBench 是论文《∞Bench: Extending Long Context Evaluation Beyond 100K Tokens》的官方代码库，旨在评估和推动大语言模型在超长上下文（超过10万token）场景下的表现。它解决了现有基准测试在长上下文任务上覆盖不足、难度不够的问题，提供了一套标准化、可复现的评测框架。核心能力包括：支持多种长上下文任务（如文本检索、多文档问答、代码理解等），提供自动生成测试数据与评分脚本，并兼容主流模型API与本地模型。通过该工具，研究者和开发者可以量化模型在100K+ token输入下的真实能力，识别模型在长文本处理中的弱点，从而指导模型优化和选型。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 393

核心亮点

  • 覆盖多种长上下文任务，如检索、问答、代码，评测维度全面
  • 提供自动化生成与评分流程，便于复现和横向对比
  • 官方论文配套，数据和方法有学术背书

不足之处

  • 项目处于早期，文档和社区支持待观察
  • 评测运行成本高，需消耗大量计算资源

适用场景

  • 大模型长上下文能力基准测试
  • 模型选型时对比不同模型的长文本处理效果
  • 研究长上下文模型优化方向

替代项目

LongBench、L-Eval、ZeroSCROLLS

上一篇：MMStar

下一篇：ChatGPT-Sentiment-Evaluation

同类项目推荐

rizzo-pii 开源

本地脱敏文档，再放心喂给 LLM

Local-first privacy guard: anonymize your documents before sharing with LLMs.

★ 1255 2026-09-28
MMAD 开源

用统一基准测出多模态大模型在工业质检中的真实水平

The Codes and Data of A Comprehensive Benchmark for Multimodal Large Language Models···

★ 280 2026-10-28
VEFX-Bench 开源

给视频编辑和特效模型打分，选型不再靠感觉

VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects

★ 177 2026-08-09
NISQA 开源

无参考也能给语音质量打分，TTS自然度一测便知

NISQA - Non-Intrusive Speech Quality and TTS Naturalness Assessment

★ 985 2026-08-09
botsim 开源

自动仿真对话，快速揪出聊天机器人短板

BotSIM - a data-efficient end-to-end Bot SIMulation toolkit for evaluation, diagnosi···

★ 116 2026-08-09
nannyml 开源

模型上线后，用 nannyml 自动盯漂移和性能，提前报警

nannyml: post-deployment data science in python

★ 2161 2026-08-09
bigcodebench 开源

用真实编程难题，测出大模型代码能力的真实天花板

[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI

★ 517 2026-08-09
agentdojo 开源

搭建 LLM 智能体攻防演练场，量化安全风险

A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents.

★ 1007 2026-08-09