项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 203
核心亮点
- 任务设计区分短依赖与长依赖，能暴露模型在长文本上的真实短板
- 基于真实长文档构建，避免合成数据偏差，贴近实际应用
- 提供多模型基线结果，便于横向对比和追踪进展
不足之处
- 项目处于早期，文档和社区支持尚待完善
- 评测集规模有限，可能无法覆盖所有长文本场景
适用场景
- 研究长上下文语言模型的评测与对比
- 开发长文本理解应用时验证模型能力
- 学术论文中作为基准测试工具
替代项目
LongBench、ZeroSCROLLS、L-Eval
上一篇：lmms-eval
下一篇：Video-MME-v2
同类项目推荐
Fintech-CUI-Trust-Framework
开源
给金融AI划清权限红线，让对话代理合规又可控
An open-source engineering governance standard defining trust boundaries for convers···
claw-eval
开源
接入模型跑人工校验任务，快速量化智能体能力
Claw-Eval is an evaluation harness for evaluating LLM as agents. All tasks verified ···
vestige
开源
给AI智能体装黑匣子，每步操作可查可证
Think before doing, prove before saving. Vestige is the local-first cognitive operat···
context-bombs
开源
用现成的攻击字符串，测出你的 AI 系统抗不抗揍。
Context bomb strings
GitTaskBench
开源
用真实仓库任务，测出代码代理的真实水平
Repo-level benchmark for real-world Code Agents: from repo understanding → env setu···
agentseal
开源
给 AI 智能体做安全体检，防投毒防注入
Security toolkit for AI agents. Scan your machine for dangerous skills and MCP confi···
uptrain
开源
给 LLM 应用打分找茬，快速定位并修复质量问题。
UpTrain is an open-source unified platform to evaluate and improve Generative AI app···
lmms-eval
开源
一套工具搞定文本/图像/视频/音频模型评测，结果可复现
One-for-All Multimodal Evaluation Toolkit Across Text, Image, Video, and Audio Tasks
awesome-direct-preference-optimi···
开源
一网打尽DPO论文与代码，快速入门偏好对齐
A Survey of Direct Preference Optimization (DPO)