项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-25 · 当前星标 ★ 228
核心亮点
- 用哈希/跳转机制自动生成需跨长距离定位的评测样本，减少人工造题成本
- 通过 Terraform 管理评测基础设施，环境可声明式复现，便于团队协作与结果对比
- 聚焦长上下文这一当前模型关键短板，能暴露模型在超长输入下的检索与信息保持缺陷
不足之处
- 项目处于早期，评测任务类型和覆盖维度可能还不够全面
- 文档与社区生态尚不成熟，接入自有模型或自定义任务的上手成本待观察
适用场景
- 研究团队对比多个 LLM 的长上下文检索与推理能力
- 模型厂商在发布新版本前做长上下文回归测试
- 评测机构构建可复现的长上下文基准并公开结果
替代项目
LongBench、RULER
同类项目推荐
MMAD
开源
用统一基准测出多模态大模型在工业质检中的真实水平
The Codes and Data of A Comprehensive Benchmark for Multimodal Large Language Models···
terminal-bench-science
开源
让 AI 在终端里跑通真实科研任务并自动打分
Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific···
Offensive-Security-AI-Models
开源
找能聊攻防的开源模型，本地跑不拒答
Uncensored AI models or those fine-tuned for cybersecurity tasks.
DEFAME
开源
自动核查文本和图片，快速识别虚假信息
Fact-checking system for textual and visual inputs.
matharena
开源
用最新数学竞赛题测大模型真实推理水平
Evaluation of LLMs on latest math competitions
ps-fuzz
开源
自动模糊测试系统提示词，找出越狱漏洞并加固
Make your GenAI Apps Safe & Secure :rocket: Test & harden your system prompt
Doberman-Core
开源
给 AI 智能体装上安全锁，防提示注入，控工具权限
Your AI's guard dog. Doberman sits at runtime, gating every input, output and tool c···
AgentHound
开源
像 BloodHound 一样测绘 AI 智能体攻击路径，快速发现安全弱点。
Offensive security framework for AI agent infrastructure - recon, credential looting···
aws-bench
开源
给AI智能体在真实AWS云上打分的基准测试
aws-bench measures how well AI agents and model combinations perform on real AWS wor···