typesafe-computer-use

OCR 读屏加类型约束,两毛钱一步让 AI 点 Mac

typesafe-computer-use 是一个 macOS 上的轻量级计算机使用(computer use)框架,核心思路是用 OCR 识别屏幕内容,再通过 TypeSafe 结构化输出模型对下一步动作进行分类,最后执行点击操作。它解决的是传统 AI 代理控制电脑时成本高、延迟大、动作不可控的问题:不依赖昂贵的视觉大模型逐帧推理,而是把屏幕转成文本,用类型约束让模型输出可解析的动作指令,从而把单步成本压到约 0.0002 美元。项目用 Python 编写,面向自动化工作流场景,适合需要让 AI 代理在 macOS 上完成点击、填表、导航等 GUI 操作,同时希望控制 token 开销和动作稳定性的开发者。

开源 unknown 自动化工作流
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 204
维护状态 活跃
是否开源
定价模式 unknown

项目数据

分类自动化工作流
开发团队awlevin
所属国家
官网地址
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型ai-agents,automation,computer-use,macos,ocr,typesafe
GitHub 星标★ 204
30天Star增速
HF 下载量
上线时间2026-09-16 00:00:00
最近更新2026-09-18 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-19
浏览次数0

使用教程

核心亮点

  • 单步成本约 0.0002 美元,比逐帧视觉推理方案便宜几个数量级
  • 用 TypeSafe 结构化输出约束动作,减少模型乱输出导致的执行失败
  • 基于 OCR 文本而非截图理解屏幕,token 消耗低、响应更快

不足之处

  • 仅支持 macOS,跨平台能力缺失
  • 依赖 OCR 质量,复杂界面或非文本元素识别可能不准
  • 项目处于早期,文档和社区案例较少

适用场景

  • 在 macOS 上自动填写网页表单或后台系统
  • 让 AI 代理按固定流程点击桌面软件完成重复操作
  • 低成本批量执行 GUI 自动化脚本,替代人工点击

替代项目

Open Interpreter、Self-Operating Computer、Anthropic Computer Use Demo

项目介绍

typesafe-computer-use 是一个自动化工作流领域的开源项目,官方简介:Computer use for about $0.0002 a step: OCR the screen, classify the next action with TypeSafe, click. macOS.。项目使用 Python 开发,在 GitHub 上获得 204 星标。

上一篇:markdown_web_browser

下一篇:没有了!

同类项目推荐

n8n 开源

拖拽搭建自动化流程,轻松接入 AI 与 400+ 应用,搞定重复工作。

Fair-code workflow automation platform with native AI capabilities. Combine visual b···

★ 204578 2026-08-10
robotcode 开源

让 Robot Framework 拥有现代 IDE 体验,调试、补全、运行一气呵成。

Open Source Toolkit for Robot Framework, providing Language Server Protocol support,···

★ 299 2026-08-10
puppeteer 开源

用 JavaScript 轻松操控无头浏览器,搞定自动化测试与网页抓取。

JavaScript API for Chrome and Firefox

★ 95585 2026-08-10
customermates 开源

比 Pipedrive 直观 10 倍的现代开源 CRM,轻松管理客户与自动化流程。

Building a modern alternative to Pipedrive that is 10x more intuitive.

★ 227 2026-08-10