项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 247
核心亮点
- 任务冻结成快照，评测结果可复现、可跨时间横向比较
- 答题形式为程序而非自然语言，能真实检验智能体的规划与编码能力
- 在独立沙箱中执行验证，隔离性好，降低评测环境相互污染
不足之处
- 项目早期，任务覆盖范围与基准套件数量仍有限
- 依赖 Harbor 运行环境，接入与部署有一定门槛
适用场景
- 评估代码智能体在机器人操控任务上的编程与规划能力
- 模型迭代时做具身任务的回归测试与版本对比
- 学术研究中统一多套机器人基准的评分口径
替代项目
SWE-bench、AgentBench、RoboBench
上一篇：JailbreakHub
同类项目推荐
cai
开源
给AI穿上防弹衣，让安全模型扛住攻击
Cybersecurity AI (CAI), the framework for AI Security
evaluate
开源
一行代码加载指标，快速评测模型效果
Evaluate: A library for easily evaluating machine learning models and datasets.
keystone-bench
开源
换掉关键事实，看AI医疗建议会不会跟着变
A clinical decision-evidence benchmark: pull the one fact an answer rests on, and se···
FeatureBench
开源
用真实功能开发任务，量出编码智能体的真实水平
[ICLR 2026] Official Implementation of "FeatureBench: Benchmarking Agentic Coding fo···
next-evals-oss
开源
给 AI 出 Next.js 考题，看它到底会不会写
Evals for Next.js up to 15.5.6 to test AI model competency at Next.js
BEAM
开源
百万级上下文下，科学评测并增强大模型长期记忆
[ICLR 2026] Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in ···
SWE-bench_Pro-os
开源
用长周期工程任务，真实测出 AI Agent 的软件工程上限
SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?
SemBench
开源
给语义查询引擎跑分，选型不再靠猜
Benchmarking Semantic Query Processing Engines
athina-sdk
开源
写测试、跑监控，让 LLM 应用在生产环境不翻车
LLM Testing SDK that helps you write and run tests to monitor your LLM app in produc···