claw-eval

接入模型跑人工校验任务，快速量化智能体能力

claw-eval 是一个面向 LLM 智能体（LLM as agents）的评测框架（evaluation harness），核心目标是解决当前智能体评测中任务质量参差、结果不可复现、缺乏统一标准的问题。它提供一套结构化的任务集合与运行环境，让开发者把待测模型接入后，按统一流程执行任务并得到可比较的评分结果。项目强调所有任务均由人工验证（verified by humans），从而减少自动生成任务带来的噪声和偏差，提升评测结论的可信度。技术栈基于 Python，围绕 agent、harness、llm、openclaw 等关键词构建，适合作为模型选型、能力回归测试和智能体迭代过程中的基准工具。当前星标约 773，属于早期项目，但已具备可用的评测骨架，适合关注智能体能力量化评估的研究者与工程团队快速上手。

开源 free 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 773

维护状态活跃

是否开源是

定价模式 free

项目数据

分类评测安全

开发团队claw-eval

所属国家

官网地址https://claw-eval.github.io

GitHubhttps://github.com/claw-eval/claw-eval

定价模式free

价格说明开源免费使用

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型agent,harness,llm,openclaw

GitHub 星标★ 773

30天Star增速

HF 下载量

上线时间2026-03-11 00:00:00

最近更新2026-09-11 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-14

浏览次数0

使用教程

核心亮点

任务全部经过人工验证，评测结果可信度高于纯自动生成的数据集
提供统一的 harness 运行框架，便于对不同模型做横向对比
基于 Python，接入和二次开发门槛较低，适合快速集成到现有评测流程

不足之处

项目处于早期阶段，任务覆盖面和评测维度可能还不够全面
文档与社区生态相对有限，遇到问题可参考的案例和讨论较少

适用场景

模型选型时对比多个 LLM 在智能体任务上的实际表现
智能体产品迭代中做能力回归测试，防止新版本性能退化
学术或工程团队构建自定义评测基准时复用其任务与运行框架

替代项目

AgentBench、SWE-bench、WebArena

项目介绍

claw-eval 是一个评测安全领域的开源项目，官方简介：Claw-Eval is an evaluation harness for evaluating LLM as agents. All tasks verified by humans.。项目使用 Python 开发，在 GitHub 上获得 773 星标。

上一篇：aiewf-eval

下一篇：faster_coco_eval