项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 552
使用教程
环境要求
- Python 3.11
- 约 20G 磁盘
- 一个智能体实现
安装与启动步骤
-
1建独立环境
它锁 Python 3.11，版本不对会踩依赖冲突。
conda create -n appworld python=3.11.0 -y -
2装包
一条 pip 装完，命令行工具同时就绪。
pip install appworld -
3下数据
评测用的模拟应用数据要单独拉，体积不小。
python -m appworld.cli download data -
4跑一次基线
先用官方给的基线智能体跑通，确认环境没问题。
appworld --help -
5接自己的智能体
按它的接口把 agent 挂进去，比的是任务完成率。
如何确认成功
跑完一次基线评测能拿到完整的任务完成率报告，且换成自己的智能体后指标同口径可比
注意事项
- 它是一套可控的智能体评测环境，不是工具库，价值在可比的任务集与评分。
- 数据下载占空间，磁盘先留够。
- 环境是模拟应用而非真实 API，所以结果可复现。
- 先跑官方基线再换自己的，否则无从判断是环境问题还是模型问题。
核心亮点
- 基于 ACL 最佳论文，学术权威性高，评测方法经过同行评审
- 模拟 9 个真实日常应用和 457 个 API，任务场景贴近生活，非玩具级
- 支持交互式代码执行，能评估智能体多步规划和动态纠错能力
不足之处
- 模拟环境与真实世界仍有差距，应用种类有限，可能无法覆盖所有真实场景
- 文档/社区待观察，项目较新，生态和教程可能不够丰富
适用场景
- 学术研究：对比不同智能体在函数调用和交互编码上的表现
- 模型开发：在发布前测试和调优 AI 助手的工具使用能力
- 教育评估：作为课程或培训中智能体能力的标准化测试集
替代项目
ToolBench、API-Bank、Gorilla
上一篇：TravelPlanner
下一篇：chatgpt-failures
同类项目推荐
Workspace-Bench
开源
在真实文件海洋中，检验智能体自我进化能力
Benchmark self-evolving Agent upon realistic large-scale file workspaces
athina-sdk
开源
写测试、跑监控，让 LLM 应用在生产环境不翻车
LLM Testing SDK that helps you write and run tests to monitor your LLM app in produc···
trulens
开源
给LLM应用装上仪表盘，量化评估效果，快速定位问题。
Evaluation and Tracking for LLM Experiments and AI Agents
awesome-llm-security
开源
一站式找到 LLM 安全工具和资料，防坑避雷
A curation of awesome tools, documents and projects about LLM Security.
open-rag-eval
开源
免标注黄金答案，自动评估RAG检索与生成质量
RAG evaluation without the need for "golden answers"
Awesome-LLM-Uncertainty-Reliabil···
开源
一页看懂LLM可靠性研究全景，找论文、查基准、避幻觉坑
Awesome-LLM-Robustness: a curated list of Uncertainty, Reliability and Robustness in···
deepchecks
开源
给 ML 模型和数据做全面体检，从研究到生产持续验证
Deepchecks: Tests for Continuous Validation of ML Models & Data. Deepchecks is a hol···
awesome-ai-safety
开源
一站式速查AI安全核心论文，快速入门不迷路
A curated list of papers & technical articles on AI Quality & Safety
nyt-connections
开源
用759道文字分组谜题，测出大模型的语义推理短板
Benchmark that evaluates LLMs using 759 NYT Connections puzzles extended with extra ···