skillsbench

环境要求

• 已安装 git，可克隆 GitHub 仓库
• 已安装 uv（Python 包与工具管理器），用于安装 BenchFlow CLI 和仓库依赖
• Modal 账号的 MODAL_TOKEN_ID 与 MODAL_TOKEN_SECRET（默认云沙箱）
• 若只想本地运行，需要本机已安装并启动 Docker（--sandbox docker）

安装与启动步骤

1. 1克隆仓库

   把 SkillsBench 仓库拉到本地并进入目录，后续所有命令都在该目录下执行。

   git clone https://github.com/benchflow-ai/skillsbench.git
   cd skillsbench

   复制

2. 2安装 BenchFlow CLI

   用 uv 全局安装最新的 benchflow 命令行工具，提供 bench 命令。

   uv tool install benchflow

   复制

3. 3安装仓库依赖

   按仓库提交的 lockfile 同步安装工具链依赖，保证评测环境可复现。

   uv sync --locked

   复制

4. 4校验任务定义

   检查内置示例任务 offer-letter-generator 的格式是否合法，确认环境可用。

   bench tasks check tasks/offer-letter-generator

   复制

5. 5配置 Modal 凭证

   Modal 是默认云沙箱提供方，需先把 token 写入环境变量再执行评测。

   export MODAL_TOKEN_ID=your-token-id
   export MODAL_TOKEN_SECRET=your-token-secret

   复制

6. 6跑 oracle 基线

   oracle 必须先通过才能跑 agent；该命令在 Modal 云沙箱执行示例任务。

   bench eval run --tasks-dir tasks/offer-letter-generator --agent oracle --sandbox modal

   复制

7. 7改用本地 Docker

   不想用云沙箱时，把 sandbox 参数换成 docker，其余参数保持不变。

   bench eval run --tasks-dir tasks/offer-letter-generator --agent oracle --sandbox docker

   复制

关键配置

如何确认成功

bench tasks check 无报错，且 bench eval run --agent oracle 能跑通（oracle 通过才算环境正常）。

常见问题

注意事项

• 所有命令需在克隆后的 skillsbench 目录内执行。
• 真实 token 不要提交到仓库或写进公开脚本，用环境变量方式传递。
• README 只演示了示例任务路径 tasks/offer-letter-generator，换任务时替换 --tasks-dir 即可。
• 云沙箱为默认方式，长期本地使用建议直接用 docker 沙箱避免额外账号依赖。