Agent-S

让 AI 像人一样看屏幕点鼠标，自动完成电脑任务

Agent-S 是一个开源的智能体框架，目标是让 AI 像人类一样操作计算机。它通过 Agent-Computer Interface（ACI）把屏幕截图、鼠标键盘操作和任务规划整合成闭环，让大模型能够观察 GUI 界面、理解当前状态并执行点击、输入、拖拽等动作，从而自动完成跨应用的复杂任务。项目解决的核心问题是：传统自动化脚本依赖固定坐标和选择器，界面一变就失效；而 Agent-S 借助视觉 grounding 与上下文学习，让智能体根据自然语言指令自主决策操作步骤，无需为每个软件单独编写脚本。核心能力包括屏幕感知与元素定位、多步任务规划、记忆与经验复用、以及可扩展的工具调用接口，支持在真实桌面环境中执行办公、浏览、数据录入等操作，适合研究 computer-use agent 与 GUI 自动化的开发者。

开源 freemium 智能体

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 12311

维护状态较活跃

是否开源是

定价模式 freemium

项目数据

分类智能体

开发团队simular-ai

所属国家

官网地址https://www.simular.ai

GitHubhttps://github.com/simular-ai/Agent-S

定价模式freemium

价格说明开源框架免费，Simular 官网提供云服务付费方案，定价信息待确认

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent-computer-interface,ai-agents,computer-automation,computer-use,computer-use-agent,cua,grounding,gui-agents,in-context-reinforcement-learning,memory,mllm,planning,retrieval-augmented-generation

GitHub 星标★ 12311

30天Star增速

HF 下载量

上线时间2024-10-09 00:00:00

最近更新2026-09-16 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-12

浏览次数0

使用教程

难度：入门约 10 分钟部署方式：本地安装 6 步

环境要求

Python 环境（需可用 pip）
macOS 上需先安装 Homebrew（用于 brew install tesseract）
Pytesseract 依赖的 tesseract OCR 程序
OpenAI API 密钥（推荐主模型 gpt-5-2025-08-07）
UI-TARS-1.5-7B 作为 grounding 模型

安装与启动步骤

1安装 Agent S3 包

不克隆仓库时，直接用 pip 从 PyPI 安装 gui-agents 包即可完成安装。
```
pip install gui-agents
```
2安装 tesseract

Pytesseract 需要额外的系统级 tesseract 程序，README 提示不要忘记安装。
```
brew install tesseract
```
3克隆源码（可选）

如果想在修改代码的同时测试 Agent S3，先克隆 GitHub 仓库再安装。
```
git clone https://github.com/simular-ai/Agent-S.git
cd Agent-S
```
4源码可编辑安装

在仓库目录内使用 -e 方式安装，改动代码后无需重新安装。
```
pip install -e .
```
5配置 API 密钥

README 中有 API Configuration 小节，按其指引填入所用模型的 API 密钥；该节未给出具体命令。
6按推荐组合配置模型

官方推荐主模型用 OpenAI gpt-5-2025-08-07，并搭配 UI-TARS-1.5-7B 做 grounding。

关键配置

配置项	必填	说明	示例
`主模型`	是	负责任务规划与决策的模型，官方推荐配置。	`gpt-5-2025-08-07`
`grounding 模型`	是	负责界面元素定位的模型，官方推荐与主模型搭配。	`UI-TARS-1.5-7B`
`API 密钥`	是	调用模型所需的密钥，配置方式见 README 的 API Configuration。	`sk-xxxxxxxx`

如何确认成功

执行 pip show gui-agents 能显示已安装的版本信息，即说明安装成功；README 未提供运行验证命令。

常见问题

Q：不想克隆仓库怎么安装？

A：直接执行 pip install gui-agents 从 PyPI 安装即可，无需下载源码。

Q：报 Pytesseract 相关错误怎么办？

A：Pytesseract 需要额外的 tesseract 程序，macOS 上执行 brew install tesseract 安装。

Q：应该用哪个模型？

A：README 推荐主模型使用 OpenAI gpt-5-2025-08-07，搭配 UI-TARS-1.5-7B 做 grounding。

Q：安装后怎么启动运行？

A：README 节选中未给出运行命令，请以仓库和官方文档中的最新说明为准。

注意事项

README 节选只包含安装与 API 配置说明，未给出具体启动命令，请勿照搬网络上的其他命令。
brew install tesseract 针对 macOS，其他系统需用对应包管理器安装 tesseract。
pip install -e . 必须在克隆下来的仓库目录内执行。
API Configuration 小节在节选中内容为空，配置项名称与写入位置需查看仓库原文。

核心亮点

提供完整的 Agent-Computer Interface，把截图感知、动作执行和任务规划串成可运行闭环
内置视觉 grounding 与上下文学习机制，界面变化时仍能定位目标元素，比固定坐标脚本更鲁棒
开源且基于 Python，便于研究者复现、替换模型或接入自定义工具，社区星标超 1.2 万

不足之处

依赖大模型视觉与推理能力，复杂界面下误操作率仍较高，稳定性受模型质量影响明显
真实桌面环境部署涉及权限、分辨率与多屏适配，工程落地成本不低

适用场景

自动完成跨应用的办公流程，如从邮件提取信息填入表格
代替人工执行重复的网页操作与数据录入任务
研究 GUI agent 的感知、规划与 grounding 能力

替代项目

Open Interpreter、AutoGPT、Browser Use

项目介绍

Agent-S 是一个智能体领域的开源项目，官方简介：Agent S: an open agentic framework that uses computers like a human。项目使用 Python 开发，在 GitHub 上获得 12269 星标。

上一篇：agent-orchestrator

下一篇：Awesome-AI-Agents