项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 84
核心亮点
- 首创聚焦大规模文件工作空间的智能体评测,填补现有基准在环境复杂度上的空白
- 任务设计强调文件间依赖关系,能有效区分智能体的深层理解与浅层检索能力
- 提供动态工作空间,支持评估智能体长期适应与自我进化,而非单次静态表现
不足之处
- 项目处于早期阶段,星标数少,文档和社区支持尚待完善
- 评测场景偏重软件工程类文件,对其他领域(如办公文档)覆盖有限
适用场景
- 研究机构评估自主智能体在真实项目文件中的任务完成能力
- 开发者测试大模型驱动的编程助手在大型代码库中的导航与修改效率
- AI 公司验证智能体在持续变化的工作环境中的学习与适应性能
替代项目
SWE-bench、AgentBench、GAIA
同类项目推荐
openai-guardrails-js
开源
给 LLM 应用加一道输入输出安检门,拦截越狱与敏感内容
OpenAI Guardrails - TypeScript / JavaScript
auto_eval
开源
让机器人策略评估全自动,省时省力又客观
AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Rea···
FuzzyAI
开源
自动给 LLM 做安全体检,找出越狱漏洞
A powerful tool for automated LLM fuzzing. It is designed to help developers and sec···
AutomationBench
开源
测测你的AI智能体,能不能搞定真实业务流程
A benchmark for evaluating AI agents on realistic business workflows
benchmarks
开源
跑分选型,用数据说话,避免MLOps工具踩坑。
️ Performance Comparison of MLOps Engines, Frameworks, and Languages on Mainstream ···
workshop
开源
让编码代理自己写评测、跑评测,回归验证不再靠手测
Give your coding agent the power to write and run agent evals.
FollowBench
开源
用多级细粒度约束,精准测出大模型指令遵循的真实水平
[ACL 2024] FollowBench: A Multi-level Fine-grained Constraints Following Benchmark f···
lintlang
开源
上线前扫一遍,AI 智能体配置不踩坑
Static analysis for AI agent configs, tool descriptions, and system prompts — catch···
agentgg
开源
百个AI安全智能体,扫仓库和PR,自动挖漏洞
Open source agentic SAST. The engine behind hundreds of disclosed zero-days. 100+ AI···
