项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-12 · 当前星标 ★ 12863
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境(需可用 pip)
- macOS 上需先安装 Homebrew(用于 brew install tesseract)
- Pytesseract 依赖的 tesseract OCR 程序
- OpenAI API 密钥(推荐主模型 gpt-5-2025-08-07)
- UI-TARS-1.5-7B 作为 grounding 模型
安装与启动步骤
-
1安装 Agent S3 包
不克隆仓库时,直接用 pip 从 PyPI 安装 gui-agents 包即可完成安装。
pip install gui-agents -
2安装 tesseract
Pytesseract 需要额外的系统级 tesseract 程序,README 提示不要忘记安装。
brew install tesseract -
3克隆源码(可选)
如果想在修改代码的同时测试 Agent S3,先克隆 GitHub 仓库再安装。
git clone https://github.com/simular-ai/Agent-S.git cd Agent-S -
4源码可编辑安装
在仓库目录内使用 -e 方式安装,改动代码后无需重新安装。
pip install -e . -
5配置 API 密钥
README 中有 API Configuration 小节,按其指引填入所用模型的 API 密钥;该节未给出具体命令。
-
6按推荐组合配置模型
官方推荐主模型用 OpenAI gpt-5-2025-08-07,并搭配 UI-TARS-1.5-7B 做 grounding。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
主模型 | 是 | 负责任务规划与决策的模型,官方推荐配置。 | gpt-5-2025-08-07 |
grounding 模型 | 是 | 负责界面元素定位的模型,官方推荐与主模型搭配。 | UI-TARS-1.5-7B |
API 密钥 | 是 | 调用模型所需的密钥,配置方式见 README 的 API Configuration。 | sk-xxxxxxxx |
如何确认成功
执行 pip show gui-agents 能显示已安装的版本信息,即说明安装成功;README 未提供运行验证命令。
常见问题
Q:不想克隆仓库怎么安装?
A:直接执行 pip install gui-agents 从 PyPI 安装即可,无需下载源码。
Q:报 Pytesseract 相关错误怎么办?
A:Pytesseract 需要额外的 tesseract 程序,macOS 上执行 brew install tesseract 安装。
Q:应该用哪个模型?
A:README 推荐主模型使用 OpenAI gpt-5-2025-08-07,搭配 UI-TARS-1.5-7B 做 grounding。
Q:安装后怎么启动运行?
A:README 节选中未给出运行命令,请以仓库和官方文档中的最新说明为准。
注意事项
- README 节选只包含安装与 API 配置说明,未给出具体启动命令,请勿照搬网络上的其他命令。
- brew install tesseract 针对 macOS,其他系统需用对应包管理器安装 tesseract。
- pip install -e . 必须在克隆下来的仓库目录内执行。
- API Configuration 小节在节选中内容为空,配置项名称与写入位置需查看仓库原文。
核心亮点
- 提供完整的 Agent-Computer Interface,把截图感知、动作执行和任务规划串成可运行闭环
- 内置视觉 grounding 与上下文学习机制,界面变化时仍能定位目标元素,比固定坐标脚本更鲁棒
- 开源且基于 Python,便于研究者复现、替换模型或接入自定义工具,社区星标超 1.2 万
不足之处
- 依赖大模型视觉与推理能力,复杂界面下误操作率仍较高,稳定性受模型质量影响明显
- 真实桌面环境部署涉及权限、分辨率与多屏适配,工程落地成本不低
适用场景
- 自动完成跨应用的办公流程,如从邮件提取信息填入表格
- 代替人工执行重复的网页操作与数据录入任务
- 研究 GUI agent 的感知、规划与 grounding 能力
替代项目
Open Interpreter、AutoGPT、Browser Use
同类项目推荐
embodied-agents
开源
把大模型塞进机器人,几行代码搞定智能体
Seamlessly integrate state-of-the-art transformer models into robotics stacks
bytebot
开源
用大白话指挥电脑干活,自动完成重复操作
Bytebot is a self-hosted AI desktop agent that automates computer tasks through natu···
openagi
开源
快速搭建自主智能体,让AI自动完成复杂任务
Paving the way for open agents and AGI for all.
personal-context-manager
开源
让AI记住你的上下文,实现真正的个性化交互
Since March 2025 this is genesis project for D-PC Messenger, focused on local contex···
llm-task-orchestrator
开源
自动分流编码任务,快活交给 Codex,重活用 Claude,省心高效。
Top AI Router 2026: Split Codex for Quick Code & Claude for Complex Refactoring
OpenOSINT
开源
用自然语言驱动 OSINT 工具链,快速完成开源情报收集与分析。
Open-source engine for passive OSINT checks: 21 tools as CLI, MCP server and web UI.···
friday-studio
开源
自托管 AI 工作台,集成 MCP 工具与自动化,轻松打造专属助手
Agent Harness Platform — shareable workspaces, MCP tools, skills, memory, and cron/···
OneKE
开源
定义模式,自动抽取知识,Docker 一键部署。
[WWW 2025] A Dockerized Schema-Guided LLM Agent-based Knowledge Extraction System.
UFO
开源
把多个AI代理织成团队,自动搞定复杂任务
UFO³: Weaving the Digital Agent Galaxy
