open-codex-computer-use

让 AI 直接操控你的电脑,跨平台自动化操作桌面应用

这是一个开源的计算机使用智能体,旨在替代 OpenAI Codex 的计算机操作功能。它通过辅助功能 API 实现跨平台(macOS、Windows、Linux)的屏幕感知和鼠标键盘控制,让 AI 能像人一样操作桌面应用。项目解决了闭源工具不可定制、平台受限的问题,核心能力包括:基于辅助功能树解析界面、模拟点击与输入、支持多模态模型决策、提供 CLI 和 API 接口。它适用于自动化测试、无障碍辅助、RPA 流程编排等场景,开发者可基于 Swift 源码二次开发,集成到自己的智能体系统中。

开源 free 智能体
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 2223
维护状态 活跃
是否开源
定价模式 free

项目数据

分类智能体
开发团队iFurySt
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,可免费使用和自行部署。
访问状态
是否开源
开源协议MIT
主要语言Swift
技术栈/模型accessibility,ai-agent,ai-agents,claude-code,codex,codex-computer-use,computer-use,computer-use-agent,cross-platform,cua,desktop-automation,gemini-cli,gui-automation,macos,mcp,model-context-protocol,open-computer-use,open-computer-use-mcp,openai-codex,opencode
GitHub 星标★ 2223
30天Star增速
HF 下载量
上线时间2026-04-17 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:入门 约 10 分钟 部署方式:命令行工具 6 步

环境要求

  • Node.js 与 npm(需通过 npm 全局安装 open-computer-use)
  • macOS 运行时要求 macOS 14.0 或更高版本
  • macOS 需授予 Accessibility(辅助功能)与 Screen Recording(屏幕录制)权限
  • 一个支持 MCP 的客户端,如 Codex、Claude Code、Gemini CLI 或 opencode

安装与启动步骤

  1. 1全局安装 CLI

    用 npm 全局安装 open-computer-use,安装后会同时提供 ocu 作为短别名。

    npm i -g open-computer-use
  2. 2首次运行并授权

    直接在终端运行一次;macOS 会提示授权,需在系统设置中开启辅助功能与屏幕录制。Windows 和 Linux 跳过此步。

    open-computer-use
  3. 3接入 Codex

    把 MCP 服务写入 ~/.codex/config.toml,之后 Codex 即可调用 Computer Use 能力。

    open-computer-use install-codex-mcp
  4. 4接入 Claude Code

    把 MCP 服务写入 ~/.claude.json,使 Claude Code 能使用该服务。

    open-computer-use install-claude-mcp
  5. 5接入 Gemini CLI

    默认写入当前项目的 ./.gemini/settings.json;加 --scope user 可写入用户级配置。

    open-computer-use install-gemini-mcp
  6. 6手动配置其他客户端

    其他 MCP 客户端可手动添加配置:command 为 open-computer-use,args 为 mcp,参考下方 configs。

关键配置

配置项必填说明示例
mcpServers.open-computer-use.command指定启动 MCP 服务的可执行命令open-computer-use
mcpServers.open-computer-use.args以 MCP 模式启动服务所需的参数["mcp"]
--scope user安装 Gemini CLI 配置时,改为写入用户级配置而非项目级--scope user

如何确认成功

在 MCP 客户端中能看到 open-computer-use 提供的工具(如 get_app_state),并能成功调用完成一次操作。

常见问题

Q:Windows 和 Linux 需要授权吗?

A:不需要。只有 macOS 运行时首次启动需要手动授予 Accessibility 和 Screen Recording 权限。

Q:命令名太长有简写吗?

A:有。npm 包同时暴露 ocu 作为短别名,例如 ocu install-codex-mcp 与 open-computer-use install-codex-mcp 等价。

Q:如何更新已安装的 skill?

A:执行 npx skills update open-computer-use -g -y 即可更新全局安装,包括之前为 Codex 创建的安装。

Q:能一次执行多个操作吗?

A:可以。用 open-computer-use call --calls 传 JSON 数组,或用 --calls-file 指定文件,同一进程内可复用 element_index 状态。

注意事项

  • macOS 运行时必须为 macOS 14.0 及以上版本。
  • macOS 需先手动运行一次并授权辅助功能与屏幕录制,Windows/Linux 无此步骤。
  • 项目也可作为 Codex 插件安装:open-computer-use install-codex-plugin;opencode 用户可执行 open-computer-use install-opencode-mcp。
  • 从源码检出做本地验证时可使用 make smoke、make stress、make agent-smoke 等命令。

核心亮点

  • 基于辅助功能 API 实现精准的 UI 元素定位,不依赖图像识别,性能更优
  • 支持 macOS、Windows、Linux 三平台,打破 Codex 的生态锁定
  • 提供 CLI 和 API,易于集成到现有 AI 工作流,且完全开源可定制

不足之处

  • 依赖系统辅助功能权限,部分应用(如 Electron)支持不完整
  • 文档/社区待观察

适用场景

  • 自动化桌面软件测试,模拟用户操作验证功能
  • 构建 AI 驱动的 RPA 工具,处理重复性办公任务
  • 为视障用户提供 AI 辅助的电脑操作界面

替代项目

Open Interpreter、Self-Operating Computer、UI-TARS

项目介绍

open-codex-computer-use 是智能体领域的开源项目,由 iFurySt 开发,是 2026 年新上线的项目。

在全站 13,014 个收录项目中,它的 GitHub 星标数(2,223)位列前 30%,在智能体分类中处于中上游。

近 45 天,它的 GitHub 星标从 1,667 增加到 2,223,净增 556。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-23。MIT许可证,可免费使用和自行部署。

它主要面向的使用场景是:自动化桌面软件测试,模拟用户操作验证功能。同类可对比的替代方案包括 Open Interpreter、Self-Operating Computer、UI-TARS。

上一篇:OpenBiliClaw

下一篇:atomic-agent

同类项目推荐

xinchao-dynamic-mind 开源

给 AI 装上疲惫和欲望,让交互更真实

独立、可自托管的 AI 动态心智状态引擎:驱动力、念头池、疲惫、睡眠与意图。

★ 195 2026-08-09
deepseek-harness 开源

把 AI 能力拆成乐高积木,拼出你的专属智能体。

DeepSeek Harness: Everything is a Plugin.

★ 233327 2026-08-15
AutoGPT 开源

开箱即用的 AI 员工,交代任务就自己干完

AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mis···

★ 187492 2026-08-09
EvoAgentX 开源

让 AI 智能体自己迭代变强,越用越聪明

EvoAgentX: Building a Self-Evolving Ecosystem of AI Agents

★ 3351 2026-09-12