tau2-bench

环境要求

• 已安装 uv 包管理器（README 指明必须使用 uv，未指定 Python 版本）
• 可用的 LLM API 密钥（用于 --agent-llm / --user-llm 指定的模型）
• 如需语音功能，需额外系统依赖：macOS 上 brew install portaudio ffmpeg
• git，用于克隆仓库

安装与启动步骤

1. 1克隆仓库

   从 GitHub 拉取 tau2-bench 源码并进入项目目录，后续所有命令都在该目录执行。

   git clone https://github.com/sierra-research/tau2-bench
   cd tau2-bench

   复制

2. 2安装核心依赖

   README 指定的标准安装方式，安装后支持 text-mode 的 airline、retail、telecom、mock 领域。

   uv sync

   复制

3. 3按需安装可选功能

   只装自己用得到的扩展：语音、banking_knowledge、gym RL 接口、开发工具，也可用 --all-extras 全装。

   uv sync --extra voice
   uv sync --extra knowledge
   uv sync --extra gym
   uv sync --extra dev

   复制

4. 4配置 API 密钥

   复制示例环境变量文件生成 .env，再按 README 提示在其中填入模型 API 密钥（README 未列出具体变量名）。

   cp .env.example .env

   复制

5. 5查看可用命令

   运行内置介绍命令，快速了解可用领域、命令和示例，确认安装是否正常。

   tau2 intro

   复制

6. 6运行一次评估

   在 airline 领域上用 gpt-4.1 同时作为 agent 与用户模拟模型，跑 1 次试验、5 个任务。

   tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

   复制

7. 7查看评估结果

   评估结果自动保存到 data/simulations/，用 view 命令浏览已生成的模拟记录。

   tau2 view

   复制

关键配置

如何确认成功

tau2 run 执行完成后，结果文件出现在 data/simulations/ 目录，且能用 tau2 view 正常浏览，即表示环境配置成功。

常见问题

注意事项

• README 明确要求使用 uv 进行依赖管理，不要改用 pip 手动安装。
• 只有参与贡献才需要安装 --extra dev（pytest、ruff、pre-commit）。
• 若需复现 1.0.1 修复前的行为，可切换到 pre-v1.0.1 标签版本。
• README 未给出具体的环境变量名称与 Python 版本，配置密钥时请以 .env.example 和 docs/getting-started.md 为准。