AgentBench

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• Docker 与 Docker Compose 环境（用于一键拉起各任务容器）
• 已下载或自行构建 alfworld、dbbench、knowledgegraph、os_interaction、webshop 所需 Docker 镜像
• 可调用的大模型 API（README 示例使用 gpt-3.5-turbo-0613 作为 agent）
• 如需运行 KG 任务，需先本地部署 Freebase 服务
• Python 开发环境（项目为 Python 实现，README 未给出具体版本要求）

安装与启动步骤

1. 1获取项目代码

   拉取 AgentBench 仓库到本地，后续所有操作都在该目录下进行。

   git clone https://github.com/THUDM/AgentBench

   复制

2. 2阅读官方文档

   先看框架介绍、配置指南和程序入口三份文档，了解结构与启动方式。

3. 3准备任务镜像

   按 README 要求先下载或构建 alfworld、dbbench、knowledgegraph、os_interaction、webshop 所需的 Docker 镜像；节选中该命令块为空，请以仓库最新文档为准。

4. 4Compose 一键启动

   README 说明可用 Docker Compose 一条命令拉起全部上述任务，具体命令请查阅仓库当前文档。

5. 5选择模型跑任务

   README 示例以 gpt-3.5-turbo-0613 作为 agent 快速启动 dbbench-std 与 os-std 两个任务，详细参数见 docs/Config_en.md。

6. 6部署 KG 服务

   KnowledgeGraph 任务依赖的在线服务不稳定，需按 README 下载数据库并本地搭建 freebase 服务。

   git clone https://github.com/dki-lab/Freebase-Setup

   复制

7. 7改 sparql 地址

   把 /configs/tasks/kg.yaml 里的 sparql_url 改成你本地搭建的 SPARQL 服务地址。

关键配置

如何确认成功

README 未给出明确成功标志，可确认各任务容器正常启动、日志中可见 agent 与环境交互。

常见问题

注意事项

• 当前仓库是接入 AgentRL 的 function calling 版本，行为与 v0.1/v0.2 不同。
• README 节选中下载或构建 Docker 镜像的命令块为空，实际命令请以仓库最新文档为准。
• 务必先启动 KG 服务，再启动依赖它的 agent 任务服务。
• API 密钥等敏感配置不要提交到公开仓库。