open-computer-use

用开源大模型驱动 AI 自动操作电脑,摆脱闭源限制

open-computer-use 是一个基于开源大语言模型和 E2B 桌面沙箱的 AI 电脑操控项目。它旨在让 AI 像人类一样操作电脑,解决当前闭源 computer use 方案(如 OpenAI 的 CUA)依赖专有模型、成本高且不透明的问题。项目通过将开源 LLM 与安全的桌面沙箱环境结合,赋予 AI 视觉理解屏幕、规划操作步骤并执行鼠标键盘动作的能力,从而完成网页浏览、文件处理、软件操作等任务。其核心能力包括:屏幕截图解析、自然语言指令转操作序列、基于沙箱的隔离执行环境,以及支持多种开源模型(如 Qwen2-VL、InternVL 等)的灵活替换。项目提供 Python API 和命令行界面,开发者可以快速集成到自己的自动化工作流中,实现浏览器自动化、软件测试、数据录入等场景的智能化改造。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 2294
维护状态 维护中
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队e2b-dev
所属国家
定价模式free
价格说明开源项目,基于Apache-2.0许可证,可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent,ai,anthropic,claude,computer-use,llm
GitHub 星标★ 2294
30天Star增速
HF 下载量
上线时间2024-10-31 00:00:00
最近更新2026-09-23 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

使用教程

难度:进阶 约 15 分钟 部署方式:本地安装 3 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • macOS 或 Linux 终端环境(README 使用 brew 安装依赖)
  • Poetry 包管理器(用于 Python 依赖管理)
  • ffmpeg(屏幕/视频流处理依赖)
  • E2B 账户,用于创建 Desktop Sandbox 云端沙箱
  • 可用的开源 LLM 提供方凭据(Fireworks / OpenRouter / Llama API 等)

安装与启动步骤

  1. 1安装系统依赖

    README 明确要求先装 Poetry 和 ffmpeg,macOS 上直接用 brew 一次装好,安装后可用 poetry -V 检查。

    brew install poetry ffmpeg
  2. 2获取项目代码

    把仓库克隆到本地,后续配置和运行都在该目录内进行。

    git clone https://github.com/e2b-dev/open-computer-use.git
  3. 3配置模型提供方

    编辑 os_computer_use/config.py,把 grounding、vision、action 三个模型替换成自己要用的 provider 与模型。

关键配置

配置项必填说明示例
grounding_model是负责在屏幕截图中定位可操作元素providers.OSAtlasProvider()
vision_model是负责理解屏幕截图内容,提供视觉判断providers.GroqProvider("llama3.2")
action_model是负责把自然语言指令转成具体操作序列providers.GroqProvider("llama3.3")

如何确认成功

README 节选只到依赖安装,未给出启动命令,需按仓库完整 README 的运行步骤启动后观察沙箱画面是否实时回传。

常见问题

Q:按 README 装完依赖后怎么启动?

A:本次节选未包含运行命令,请查看仓库完整 README 的安装与运行章节,按官方最新步骤执行。

Q:可以换成自己的开源模型吗?

A:可以。项目支持 10+ LLM 以及 OS-Atlas、ShowUI,只需在 os_computer_use/config.py 中替换对应 provider 与模型名。

Q:没有 brew(Linux/Windows)怎么办?

A:README 只给了 brew 命令,非 macOS 环境请用系统自带包管理器自行安装 poetry 与 ffmpeg。

Q:需要哪些 API 凭据?

A:需要所选模型提供方(Fireworks、OpenRouter、Llama API 等)的凭据,以及 E2B 沙箱服务;README 未列出具体变量名。

注意事项

  • 本次 README 节选缺少依赖安装(poetry install)与启动命令,实际部署请以仓库最新 README 为准。
  • 模型 provider 的 API Key 需自行申请并配置,README 节选未给出具体环境变量名称。
  • 项目依赖 E2B Desktop Sandbox 提供云端 Linux 桌面,运行前需确认沙箱服务可用。
  • config.py 中的三个模型可以混搭不同 provider,按需替换即可。

核心亮点

  • 完全基于开源模型(Qwen2-VL 等),无闭源依赖,成本可控
  • 集成 E2B 桌面沙箱,AI 操作在隔离环境运行,安全可靠
  • 提供简洁 Python API 和 CLI,快速上手,支持自定义模型接入

不足之处

  • 依赖 E2B 云服务,本地部署需额外配置,离线使用受限
  • 文档/社区待观察

适用场景

  • 自动化网页操作,如表单填写、数据抓取
  • 软件 GUI 自动化测试,模拟用户点击和输入
  • 个人助理场景,通过自然语言指令完成电脑日常任务

替代项目

OpenInterpreter、Self-Operating Computer、UI-TARS

项目介绍

open-computer-use 是自动化工作流领域的开源项目,由 e2b-dev 开发,2024 年首次发布。

在全站 13,109 个收录项目中,它的 GitHub 星标数(2,294)位列前 30%,在自动化工作流分类中处于中上游。

近 42 天,它的 GitHub 星标从 2,197 增加到 2,294,净增 97。

项目仍在小幅维护中,最近一次代码更新于 2026-09-23。基于Apache-2.0许可证,可免费使用和部署。

它主要面向的使用场景是:自动化网页操作,如表单填写、数据抓取。同类可对比的替代方案包括 OpenInterpreter、Self-Operating Computer、UI-TARS。

上一篇:OpenOutreach

下一篇:superglue

同类项目推荐

n8n 开源

拖拽搭建自动化流程,轻松接入 AI 与 400+ 应用,搞定重复工作。

Fair-code workflow automation platform with native AI capabilities. Combine visual b···

★ 205700 2026-08-10
feishu-docx 开源

让 AI 代理轻松读写飞书文档,双向转换 Markdown

Feishu/Lark Docs、Sheet、Bitable <-> Markdown | AI Agent-friendly knowledge base exp···

★ 262 2026-08-09
robotcode 开源

让 Robot Framework 拥有现代 IDE 体验,调试、补全、运行一气呵成。

Open Source Toolkit for Robot Framework, providing Language Server Protocol support,···

★ 301 2026-08-10
puppeteer 开源

用 JavaScript 轻松操控无头浏览器,搞定自动化测试与网页抓取。

JavaScript API for Chrome and Firefox

★ 95609 2026-08-10