项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 894
使用教程
环境要求
- Python 3.11+ 与 uv
- 沙箱运行时
安装与启动步骤
-
1看评测范围
这是 Agent 能力评测框架，覆盖多类任务与工具调用。
-
2装 uv
官方推荐 uv 管理环境。
pip install uv -
3跑沙箱测试
先验证沙箱隔离是否正常，再跑正式评测。
bash scripts/test_sandbox.sh -
4接被测 Agent
按配置声明 Agent 的启动方式与工具集，跑批量任务。
如何确认成功
沙箱测试通过，评测能输出分项结果。
注意事项
- 评测会真实调用工具，注意隔离与费用上限。
核心亮点
- 任务全部经过人工验证，评测结果可信度高于纯自动生成的数据集
- 提供统一的 harness 运行框架，便于对不同模型做横向对比
- 基于 Python，接入和二次开发门槛较低，适合快速集成到现有评测流程
不足之处
- 项目处于早期阶段，任务覆盖面和评测维度可能还不够全面
- 文档与社区生态相对有限，遇到问题可参考的案例和讨论较少
适用场景
- 模型选型时对比多个 LLM 在智能体任务上的实际表现
- 智能体产品迭代中做能力回归测试，防止新版本性能退化
- 学术或工程团队构建自定义评测基准时复用其任务与运行框架
替代项目
AgentBench、SWE-bench、WebArena
上一篇：aiewf-eval
下一篇：faster_coco_eval
同类项目推荐
Anti-Autoresearch
开源
一键给自动科研论文做取证，揪出编造与不自洽
Don't trust an autoresearch paper at face value. Reviewer-side integrity forensics (···
ai-evals
开源
用 Ruby 脚本跑 AI 模型评测，选型对比有据可依
Evals and benchmarks for AI models
M3Exam
开源
全球大模型谁更聪明？多语言考卷测出真实力
Data and code for paper "M3Exam: A Multilingual, Multimodal, Multilevel Benchmark fo···
alpaca_eval
开源
自动评估指令跟随模型，快、便宜、且靠谱。
An automatic evaluator for instruction-following language models. Human-validated, h···
awesome-cybersecurity-agentic-ai
开源
一页清单，快速找到能落地的安全智能体方案
LLM-KG-Bench
开源
一键评测大模型在知识图谱任务上的表现
LLM-KG-Bench is a Framework and task collection for automated benchmarking of Large ···
TSB-AD
开源
一套接口跑通时序异常检测算法与数据集评测
Time-Series Anomaly Detection | Algorithms + Datasets + Tutorials
PromptInject
开源
模块化组装提示词，量化评估LLM对抗攻击的鲁棒性。
PromptInject is a framework that assembles prompts in a modular fashion to provide a···
Machine_Learning_CTF_Challenges
开源
实战演练AI攻防，用CTF挑战掌握模型攻击与LLM漏洞利用
Hack AI/ML applications — CTF challenges for model attacks, LLMs and AI Agent explo···