
Open-Interface
让大模型直接操控你的电脑,一句话完成复杂操作。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2734
技术标签
使用教程
环境要求
- Windows 10 / Ubuntu 20.04(官方已测试)/ macOS(含 Apple Silicon 与 Intel)
- 方式二脚本运行需安装 Python 3.12 或更新版本
- 一个可用的 OpenAI API Key(用于 GPT-4o,账号需充值,解锁 GPT-4o 最低 5 美元)
- macOS 需授予辅助功能(控制键鼠)和屏幕录制权限
安装与启动步骤
-
1下载安装包
打开最新 Release 页面,按系统下载 macOS 二进制、Linux zip 或 Windows zip。
-
2安装并启动程序
macOS 解压后拖入 Applications 再启动;Windows 解压后把 exe 放到目标位置双击运行。
-
3授予系统权限
macOS 首次启动会申请辅助功能与屏幕录制权限,若未弹出需到系统设置-隐私与安全性手动添加。
-
4克隆仓库(脚本方式)
不想用安装包时可用源码运行,先克隆仓库并进入目录。
git clone https://github.com/AmberSahdev/Open-Interface.git cd Open-Interface -
5创建虚拟环境
可选步骤,避免污染全局环境;pyenv 对 tkinter 支持异常,需自行排查。
python -m venv .venv source .venv/bin/activate -
6安装依赖
在项目根目录安装 requirements.txt 中的全部 Python 依赖。
pip install -r requirements.txt -
7启动应用
用 Python 直接运行主程序,脚本方式启动界面。
python app/app.py -
8配置 API Key
右上角 Settings 填入 OpenAI Key;用 Gemini 或自定义 LLM 则在 Advanced Settings 选择模型并填写地址。保存后必须重启应用。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
OpenAI API Key | 是 | 默认后端凭证,用于调用 GPT-4o 解析并执行指令 | sk-xxxxxxxxxxxxxxxx |
Gemini API Key | 否 | 在 Advanced Settings 选择 Gemini 模型后填入的替代后端凭证 | AIzaSyxxxxxxxxxxxx |
Custom Base URL | 否 | 自定义 OpenAI 风格后端的接口地址,如本地 Llava 服务 | http://localhost:8000/v1/ |
Model Name | 否 | Advanced Settings 中指定的自定义模型名称 | llava |
如何确认成功
应用正常打开界面,Settings 中填好 Key 并重启后,输入自然语言指令可看到屏幕截图与自动键鼠操作。
常见问题
Q:macOS 提示“Open Interface cannot be opened”怎么办?
A:点击 Cancel,然后进入 System Preferences(系统设置)-> Security and Privacy(隐私与安全性),选择 Open Anyway(仍要打开)即可。
Q:用这个项目需要花钱吗?
A:需要。Open Interface 依赖 GPT-4o,需在 OpenAI 账户充值,解锁 GPT-4o 的最低预付费为 5 美元。
Q:填完 API Key 后没有生效?
A:首次设置 API Key 后必须重启应用;修改 Gemini 或自定义 LLM 设置后同样需要重启。
Q:接本地 Llama 等模型失败怎么排查?
A:API Key 输入框可填随机字符串如 xxx;base URL 末尾可能需要追加 /v1/。若接口非 OpenAI 风格,可用 litellm 之类的库做转换。
Q:Linux 和 Windows 支持哪些版本?
A:Linux 二进制目前仅在 Ubuntu 20.04 上测试过,Windows 二进制在 Windows 10 上测试过,其他版本未验证。
注意事项
- 本项目通过模拟键鼠操作电脑,运行时请勿手动抢占鼠标键盘。
- API Key 会保存在应用设置中,请勿在共享电脑上随意填写。
- 必须授予屏幕录制权限,否则无法截图评估进度,代理会失效。
- 自定义 LLM 需兼容 OpenAI API 风格,否则需额外做接口转换。
核心亮点
- 纯视觉驱动,不依赖系统API,能适应各种桌面应用和网页界面
- 基于LLM的意图理解,支持自然语言指令,无需编写复杂脚本
- 跨平台支持,提供Python API,易于集成到现有AI工作流
不足之处
- 执行速度和稳定性受限于LLM推理延迟和视觉识别精度
- 文档和社区生态尚在早期,示例和最佳实践较少
适用场景
- 自动化桌面软件测试,模拟用户操作
- 为残障人士提供语音/文字控制电脑的辅助工具
- 构建个人AI助理,自动完成文件整理、邮件发送等日常任务
替代项目
OpenInterpreter、Self-Operating Computer、UI-TARS
上一篇:harness-books
下一篇:jadx-ai-mcp
同类项目推荐
hcom
开源
让终端里的 AI 智能体互相喊话、协作干活
Let AI agents message, watch, and spawn each other across terminals. Claude Code, Co···
AgentDeck
开源
把 AI 编程代理的控制权握在手里,一键操控,多端可视。
Local dashboards and physical controls for AI coding agents — native 3D aquariums, ···
pyspur
开源
拖拽搭建智能体流程,迭代效率提升10倍
A visual playground for agentic workflows: Iterate over your agents 10x faster
MasterAgent
开源
设备本地跑 AI 智能体,百毫秒响应不联网
Build AI agents that run 100% on-device. Sub-100ms latency on Qualcomm NPU. Zero clo···
PokeClaw
开源
手机本地 AI 管家,离线自动操作 Android,无需云端密钥
PokeClaw (PocketClaw) — first on-device AI that controls your Android phone. Gemma ···
goclaw
开源
用 Go 安全部署大规模 AI 智能体团队
GoClaw - GoClaw is OpenClaw rebuilt in Go — with multi-tenant isolation, 5-layer se···
Multi-Agent-Intelligent-Warehous···
开源
多智能体提建议,策略审批把关,让仓库决策既智能又可审计
An open blueprint for intelligent warehouse operations, combining agentic AI, govern···
zylos-core
开源
给 AI 一个可协作、可成长、数据归你的'生活'
Give your AI a life — open-source agent infrastructure for team collaboration.
dbt-mcp
开源
让 AI 直接读懂你的 dbt 项目,写 SQL 不再靠猜
A MCP (Model Context Protocol) server for interacting with dbt.