self-operating-computer

让多模态模型看屏幕、动鼠标，替你操作电脑

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署自动化工作流 🍴 复刻 1410 🐛 待处理 110 👀 关注 129

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 10300

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源免费，需自备OpenAI API密钥

项目预览

self-operating-computer 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类自动化工作流

开发团队OthersideAI

官网地址https://www.hyperwriteai.com/self-operating-computer

GitHubhttps://github.com/OthersideAI/self-operating-computer

定价模式🏷️完全免费

价格说明开源免费，需自备OpenAI API密钥

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型automation,openai,pyautogui

GitHub 星标★ 10300

上线时间2023-11-04 00:00:00

代码更新2026-10-19

仓库体积12.6 MB

本站数据更新2026-11-01

维护状态较活跃

收录时间2026-11-01

浏览次数0

项目介绍

self-operating-computer 是一个让多模态大模型直接操作计算机的开源框架。它把屏幕截图交给视觉模型理解，再通过 pyautogui 把模型输出的点击、输入、滚动等动作落到真实桌面，从而完成跨应用的自动化任务。项目解决的是传统 RPA 依赖固定坐标和脚本、难以适应界面变化的问题：用户只需用自然语言描述目标，模型就能观察当前画面并逐步执行操作。核心能力包括屏幕感知、动作规划、鼠标键盘控制、任务循环与失败重试，并支持接入 OpenAI 等兼容接口的多模态模型。代码以 Python 编写，结构轻量，便于二次开发，适合做桌面智能体原型验证和自动化流程探索。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-01 · 当前星标 ★ 10300

技术标签

automation openai

使用教程

难度：入门约 10 分钟部署方式：命令行工具 6 步

环境要求

Python 环境与 pip 包管理器
一个可用的 OpenAI API Key（也可换成其他兼容的多模态模型）
macOS 用户需在系统设置中授予终端「屏幕录制」和「辅助功能」权限
可正常显示的桌面环境（程序会截屏并控制鼠标键盘）

安装与启动步骤

1确认 Python 环境

项目为 Python 包，需先确认本机已装好 Python 与 pip，并能正常执行 pip 命令。
```
python --version
pip --version
```
2安装项目

用 pip 直接安装 self-operating-computer，安装完成后会提供 operate 命令。
```
pip install self-operating-computer
```
3启动程序

在终端执行 operate 启动，程序会接管屏幕并等待你输入密钥与任务目标。
```
operate
```
4输入 OpenAI Key

启动后按提示填入 OpenAI API Key；README 说明没有密钥可在 OpenAI 平台申请。
5更换已保存的密钥

密钥保存在项目目录的 .env 文件中，后续需要更换时用 vim 打开并替换旧值。
```
vim .env
```
6macOS 授予权限

在「系统偏好设置 → 安全性与隐私」中，为终端应用勾选「屏幕录制」与「辅助功能」。