crab

跨环境测试你的AI智能体，看它真实干活行不行

CRAB 是一个面向多模态语言模型智能体的跨环境基准测试框架，由 CAMEL-AI 团队开发。它旨在解决当前智能体评估局限于单一环境、难以衡量真实世界任务完成能力的问题。核心能力包括：支持跨应用和跨设备的多环境任务设计，提供可扩展的基准测试集，以及一个用于量化智能体在复杂交互场景中表现的工具链。CRAB 通过模拟真实用户操作（如网页浏览、代码编辑、文件管理等），评估模型在规划、工具调用、错误恢复等方面的综合能力。其设计强调任务的可定制性和评估的客观性，帮助研究者更全面地理解多模态智能体的优势与局限。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 427

维护状态活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队camel-ai

所属国家

官网地址https://crab.camel-ai.org

GitHubhttps://github.com/camel-ai/crab

定价模式free

价格说明开源基准测试工具，完全免费，无付费版本。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型gui-automation,language-model-agent,large-language-models,multi-agent-systems,visual-language-models

GitHub 星标★ 427

30天Star增速

HF 下载量

上线时间2024-05-11 00:00:00

最近更新2026-09-20 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

首个强调跨环境（如浏览器+终端）协同任务的智能体基准，更贴近真实使用场景
提供可扩展的任务框架，支持自定义环境与任务，便于研究者按需构建评估集
基于CAMEL-AI生态，与现有大模型工具链集成度高，上手门槛相对较低

不足之处

项目处于早期阶段（424星），任务集规模有限，覆盖场景尚不够全面
文档和社区生态待观察，实际使用中可能遇到示例不足或支持滞后问题

适用场景

学术研究：评估多模态大模型在复杂跨应用任务中的智能体能力
模型开发：对比不同智能体框架或提示策略在真实操作场景下的效果
产品测试：验证AI助手在跨平台任务（如网页+本地文件）中的可靠性

替代项目

AgentBench、WebArena、OSWorld

项目介绍

crab 是评测安全领域的开源项目，由 camel-ai 开发，2024 年首次发布。

它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 427。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-20。开源基准测试工具，完全免费，无付费版本。

它主要面向的使用场景是：学术研究：评估多模态大模型在复杂跨应用任务中的智能体能力。同类可对比的替代方案包括 AgentBench、WebArena、OSWorld。

上一篇：Awesome-Embodied-AI-Safety

下一篇：lmms-eval