项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 378
技术标签
核心亮点
- 聚焦真实业务流程，评测任务贴近实际工作场景，而非简单问答或代码题
- 提供标准化评估协议，便于横向对比不同AI智能体的业务处理能力
- 支持任务分解和过程追踪，能定位智能体在哪个步骤失败
不足之处
- 项目处于早期阶段，任务集覆盖范围有限，可能未涵盖所有行业流程
- 文档和社区生态尚待完善，上手和扩展需要一定技术背景
适用场景
- 企业选型：对比不同AI智能体产品在业务自动化上的实际表现
- 模型研发：在开发智能体时，用基准测试迭代优化模型和提示词
- 学术研究：研究AI智能体在复杂工作流中的决策和泛化能力
替代项目
AgentBench、OSWorld、WebArena
上一篇：benchflow
下一篇：agentevals
同类项目推荐
VibeSearchBench
开源
专治搜索系统'听不懂人话'，用200个模糊任务测出真实力
The hardest search benchmark in the wild — vague, multi-turn, proactive. 200 long-h···
Awesome-Embodied-AI-Safety
开源
一网打尽具身AI安全研究，500+论文系统梳理
Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses | 500+ Papers | Perc···
sim-evals
开源
把机器人策略丢进仿真跑分，省下真机评测的麻烦
A simulation evaluation platform for DROID
vitest-evals
开源
用 Vitest 写 LLM 评测，像跑单测一样跑模型回归
A vitest extension for running evals.
TaskMeAnything
开源
自动生成多模态任务，全面评估模型能力
[NeurIPS 2024] A task generation and model evaluation system for multimodal languag···
RAGElo
开源
用 Elo 对战排名，快速选出最强 RAG 智能体
RAGElo is a set of tools that helps you selecting the best RAG-based LLM agents by u···
openai-guardrails-js
开源
给 LLM 应用加一道输入输出安检门，拦截越狱与敏感内容
OpenAI Guardrails - TypeScript / JavaScript
Tracely-ai
开源
把线上 agent 失败轨迹变成 CI 回归测试，退化就拦 PR
Trace-native CI/CD for AI agents: grade production traces, cluster failures, freeze ···
PromptMe
开源
10 个动手挑战，亲手打穿 LLM 安全漏洞
PromptMe is an educational project that showcases security vulnerabilities in large ···