项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 432
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10+
安装与启动步骤
-
1装客户端包
它把框架与运行环境分开，先只装客户端。
pip install crab-framework[client] -
2跑自带基准
官方给了基准集与实验脚本，先复现一个数字。
-
3看环境定义方式
一个动作就是一个加了装饰器的 Python 函数，这是它的设计核心。
-
4写一个自己的任务
用图求值器定义成功条件，比写断言更细。
如何确认成功
跑完基准后能拿到分任务的通过率，且你自己新增的一个任务能被正确判分而不是恒为满分
注意事项
- 它是给多模态 agent 建跨平台评测环境的框架，重点在环境与评分，不是模型。
- 环境可以跑在内存、容器、虚拟机或分布式机器上，部署方式不同配置差别大。
- 新增动作只需加装饰器，但动作的原子性要自己保证，否则评分会失真。
- 图求值器能给出细粒度指标，代价是任务定义更费事。
- 评测依赖具体模型与工具版本，跨版本比分数意义不大。
核心亮点
- 首个强调跨环境（如浏览器+终端）协同任务的智能体基准，更贴近真实使用场景
- 提供可扩展的任务框架，支持自定义环境与任务，便于研究者按需构建评估集
- 基于CAMEL-AI生态，与现有大模型工具链集成度高，上手门槛相对较低
不足之处
- 项目处于早期阶段（424星），任务集规模有限，覆盖场景尚不够全面
- 文档和社区生态待观察，实际使用中可能遇到示例不足或支持滞后问题
适用场景
- 学术研究：评估多模态大模型在复杂跨应用任务中的智能体能力
- 模型开发：对比不同智能体框架或提示策略在真实操作场景下的效果
- 产品测试：验证AI助手在跨平台任务（如网页+本地文件）中的可靠性
替代项目
AgentBench、WebArena、OSWorld
上一篇：Awesome-Embodied-AI-Safety
下一篇：lmms-eval
同类项目推荐
VLMEvalKit
开源
一键评测 220+ 多模态模型，秒出对比报告
Open-source evaluation toolkit of large multi-modality models (LMMs), support 220+ L···
LLMEval-1
开源
17类453题+2186人标注，中文大模型评测数据即取即用
[AAAI 2024] LLMEval Phase I dataset — 17 categories, 453 questions, 2186 annotators···
safe-clip
开源
给 CLIP 模型装上安全阀，自动过滤 NSFW 内容
[ECCV 2024] Official implementation of Safe-CLIP, a safety-aligned vision-language m···
lintlang
开源
上线前扫一遍，AI 智能体配置不踩坑
Static analysis for AI agent configs, tool descriptions, and system prompts — catch···
evals-skills
开源
让编码代理手把手帮你搭产品专属 AI 评测
Skills that guide AI coding agents to help you build product-specific AI evals.
skillsbench
开源
给 AI 技能和 agent 打分，看谁真会用工具
SkillsBench evaluates how well skills work and how effective agents are at using the···
langfair
开源
给LLM做公平性体检，防偏见翻车
LangFair is a Python library for conducting use-case level LLM bias and fairness ass···
TrustLLM
开源
给大模型做全面体检，量化可信度短板
[ICML 2024] TrustLLM: LLM trustworthiness evaluation across truthfulness, safety, fa···
awesome-cybersecurity-agentic-ai
开源
一页清单，快速找到能落地的安全智能体方案