typesafe-computer-use

环境要求

• macOS 14 或更新版本（Windows 10/11 为实验性支持）
• Python 3.12 或更新版本
• 已安装 uv（Python 包管理器）
• 终端已获得「屏幕录制」与「辅助功能」权限
• 已准备 TYPESAFE_API_KEY，可选 ANTHROPIC_API_KEY

安装与启动步骤

1. 1克隆仓库

   从 GitHub 拉取项目源码到本地，确保网络能访问 github.com。

   git clone https://github.com/awlevin/typesafe-computer-use

   复制

2. 2安装依赖

   进入项目目录，用 uv 按 pyproject 同步创建虚拟环境并装齐依赖。

   cd typesafe-computer-use
   uv sync

   复制

3. 3配置环境变量

   复制示例配置文件为 .env，随后填入 API Key，文件位于仓库根目录。

   cp .env.example .env

   复制

4. 4授予系统权限

   系统设置 > 隐私与安全性中，为终端勾选「屏幕录制」和「辅助功能」，否则截图空白、点击失效。

5. 5首次试运行

   dry run 只执行一步并打印将要做的动作，不会真正操作电脑，用于验证装好没。

   uv run clicker "open the Playground"

   复制

6. 6实际驱动电脑

   加 --act 才会真实点击执行，默认最多 100 步；可加 --steps 20 --delay 3 放慢。

   uv run clicker "open the Playground" --act

   复制

7. 7调试屏幕内容

   clicker-inspect 会倒计时 3-2-1 后截屏，输出带标注的屏幕与模型载荷，方便排查。

   uv run clicker-inspect "any goal"

   复制

关键配置

如何确认成功

执行 uv run clicker "open the Playground" 后终端打印出它将要执行的一步动作，即表示安装与密钥配置成功。

常见问题

注意事项

• 运行前先清空终端，终端文字本身也会被 OCR 识别进去，影响判断。
• --act 在缺少「辅助功能」权限时会直接拒绝启动，请先授权。
• 项目仍处于 Beta 阶段，行为可能变动；Windows 支持仅为实验性。
• 单步成本约 0.0002 美元，但只有配置了 TYPESAFE_API_KEY 才能进行决策。