harbor

环境要求

• Python 环境（可用 pip 安装）或 uv 工具
• 本地运行基准需要 Docker（README 说明默认在本地用 Docker 启动）
• 至少一个模型提供商的 API Key，如 ANTHROPIC_API_KEY
• 如需在云端并行运行，需要对应 provider 的密钥，如 DAYTONA_API_KEY

安装与启动步骤

1. 1安装 Harbor

   README 提供两种方式，任选其一：uv tool install 或 pip install，装完后即可使用 harbor 命令。

   pip install harbor

   复制

2. 2（可选）用 uv 安装

   已使用 uv 的用户可以用 uv tool install 方式安装，效果与 pip 安装一致。

   uv tool install harbor

   复制

3. 3设置模型密钥

   运行评测前先导出 ANTHROPIC_API_KEY，把示例值换成你自己的真实密钥。

   export ANTHROPIC_API_KEY=sk-ant-xxxxxxxx

   复制

4. 4本地跑 Terminal-Bench

   运行官方基准 Terminal-Bench-2.0，默认在本地用 Docker 启动，--n-concurrent 控制并发数。

   harbor run --dataset terminal-bench@2.0 
      --agent claude-code 
      --model anthropic/claude-opus-4-1 
      --n-concurrent 4

   复制

5. 5查看全部参数

   想了解支持哪些智能体和其他选项，查看帮助信息，据此调整 agent 与 model 参数。

   harbor run --help

   复制

6. 6浏览可用数据集

   列出所有支持的第三方基准（如 SWE-Bench、Aider Polyglot），拿到可用的 dataset@version。

   harbor datasets list

   复制

7. 7用通用命令评测

   把数据集、模型、智能体三个占位符换成实际名称，例如 -d "terminal-bench@2.0" -m "anthropic/claude-opus-4-1" -a "claude-code"。

   harbor run -d "" -m "" -a ""

   复制

8. 8切换到云端运行

   导出 DAYTONA_API_KEY 并加 --env daytona，即可在 Daytona 等 provider 上大规模并行运行。

   export ANTHROPIC_API_KEY=sk-ant-xxxxxxxx
   export DAYTONA_API_KEY=xxxxxxxx
   harbor run --dataset terminal-bench@2.0 
      --agent claude-code 
      --model anthropic/claude-opus-4-1 
      --n-concurrent 100 
      --env daytona

   复制

关键配置

如何确认成功

安装后执行 harbor run --help 与 harbor datasets list，能正常打印帮助和数据集列表即表示安装成功并可运行。

常见问题

注意事项

• README 示例中的 、、、 都是占位符，执行前必须替换为真实值，否则命令会失败。
• --n-concurrent 决定并发数，本地受 Docker 资源限制，大规模并发（如 100）建议改用云端 provider。
• 项目提供 Harbor Cookbook 仓库，包含端到端示例与指南，可作为进阶参考。
• Harbor 是 Terminal-Bench-2.0 的官方 harness，评测结果可进一步用于生成 RL 优化所需的 rollout。