Agent-S

让 AI 像人一样看屏幕点鼠标,自动完成电脑任务

开源 🏷️基础免费,高级付费 ✅ 目前可打开 智能体 🍴 复刻 1502 🐛 待处理 75 👀 关注 90
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 12863
维护状态 活跃
是否开源 开源
定价模式 🏷️基础免费,高级付费 支持限时试用 · 开源框架免费,Simular 官网提供云服务付费方案,定价信息待确认

项目预览

Agent-S 项目界面预览图
图片来源:项目官网

项目数据

分类智能体
开发团队simular-ai
定价模式🏷️基础免费,高级付费
价格说明开源框架免费,Simular 官网提供云服务付费方案,定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent-computer-interface,ai-agents,computer-automation,computer-use,computer-use-agent,cua,grounding,gui-agents,in-context-reinforcement-learning,memory,mllm,planning,retrieval-augmented-generation
GitHub 星标★ 12863
上线时间2024-10-09 00:00:00
代码更新2026-10-30
仓库体积59.8 MB
本站数据更新2026-11-03
维护状态活跃
收录时间2026-09-12
浏览次数1

项目介绍

Agent-S 是一个开源的智能体框架,目标是让 AI 像人类一样操作计算机。它通过 Agent-Computer Interface(ACI)把屏幕截图、鼠标键盘操作和任务规划整合成闭环,让大模型能够观察 GUI 界面、理解当前状态并执行点击、输入、拖拽等动作,从而自动完成跨应用的复杂任务。项目解决的核心问题是:传统自动化脚本依赖固定坐标和选择器,界面一变就失效;而 Agent-S 借助视觉 grounding 与上下文学习,让智能体根据自然语言指令自主决策操作步骤,无需为每个软件单独编写脚本。核心能力包括屏幕感知与元素定位、多步任务规划、记忆与经验复用、以及可扩展的工具调用接口,支持在真实桌面环境中执行办公、浏览、数据录入等操作,适合研究 computer-use agent 与 GUI 自动化的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-12 · 当前星标 ★ 12863

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 10 分钟 部署方式:本地安装 6 步

环境要求

  • Python 环境(需可用 pip)
  • macOS 上需先安装 Homebrew(用于 brew install tesseract)
  • Pytesseract 依赖的 tesseract OCR 程序
  • OpenAI API 密钥(推荐主模型 gpt-5-2025-08-07)
  • UI-TARS-1.5-7B 作为 grounding 模型

安装与启动步骤

  1. 1安装 Agent S3 包

    不克隆仓库时,直接用 pip 从 PyPI 安装 gui-agents 包即可完成安装。

    pip install gui-agents
  2. 2安装 tesseract

    Pytesseract 需要额外的系统级 tesseract 程序,README 提示不要忘记安装。

    brew install tesseract
  3. 3克隆源码(可选)

    如果想在修改代码的同时测试 Agent S3,先克隆 GitHub 仓库再安装。

    git clone https://github.com/simular-ai/Agent-S.git
    cd Agent-S
  4. 4源码可编辑安装

    在仓库目录内使用 -e 方式安装,改动代码后无需重新安装。

    pip install -e .
  5. 5配置 API 密钥

    README 中有 API Configuration 小节,按其指引填入所用模型的 API 密钥;该节未给出具体命令。

  6. 6按推荐组合配置模型

    官方推荐主模型用 OpenAI gpt-5-2025-08-07,并搭配 UI-TARS-1.5-7B 做 grounding。

关键配置

配置项必填说明示例
主模型是负责任务规划与决策的模型,官方推荐配置。gpt-5-2025-08-07
grounding 模型是负责界面元素定位的模型,官方推荐与主模型搭配。UI-TARS-1.5-7B
API 密钥是调用模型所需的密钥,配置方式见 README 的 API Configuration。sk-xxxxxxxx

如何确认成功

执行 pip show gui-agents 能显示已安装的版本信息,即说明安装成功;README 未提供运行验证命令。

常见问题

Q:不想克隆仓库怎么安装?

A:直接执行 pip install gui-agents 从 PyPI 安装即可,无需下载源码。

Q:报 Pytesseract 相关错误怎么办?

A:Pytesseract 需要额外的 tesseract 程序,macOS 上执行 brew install tesseract 安装。

Q:应该用哪个模型?

A:README 推荐主模型使用 OpenAI gpt-5-2025-08-07,搭配 UI-TARS-1.5-7B 做 grounding。

Q:安装后怎么启动运行?

A:README 节选中未给出运行命令,请以仓库和官方文档中的最新说明为准。

注意事项

  • README 节选只包含安装与 API 配置说明,未给出具体启动命令,请勿照搬网络上的其他命令。
  • brew install tesseract 针对 macOS,其他系统需用对应包管理器安装 tesseract。
  • pip install -e . 必须在克隆下来的仓库目录内执行。
  • API Configuration 小节在节选中内容为空,配置项名称与写入位置需查看仓库原文。

核心亮点

  • 提供完整的 Agent-Computer Interface,把截图感知、动作执行和任务规划串成可运行闭环
  • 内置视觉 grounding 与上下文学习机制,界面变化时仍能定位目标元素,比固定坐标脚本更鲁棒
  • 开源且基于 Python,便于研究者复现、替换模型或接入自定义工具,社区星标超 1.2 万

不足之处

  • 依赖大模型视觉与推理能力,复杂界面下误操作率仍较高,稳定性受模型质量影响明显
  • 真实桌面环境部署涉及权限、分辨率与多屏适配,工程落地成本不低

适用场景

  • 自动完成跨应用的办公流程,如从邮件提取信息填入表格
  • 代替人工执行重复的网页操作与数据录入任务
  • 研究 GUI agent 的感知、规划与 grounding 能力

替代项目

Open Interpreter、AutoGPT、Browser Use

上一篇:agent-orchestrator

下一篇:Awesome-AI-Agents

同类项目推荐

embodied-agents 开源

把大模型塞进机器人,几行代码搞定智能体

Seamlessly integrate state-of-the-art transformer models into robotics stacks

★ 302 2026-08-09
bytebot 开源

用大白话指挥电脑干活,自动完成重复操作

Bytebot is a self-hosted AI desktop agent that automates computer tasks through natu···

★ 11068 2026-08-09
openagi 开源

快速搭建自主智能体,让AI自动完成复杂任务

Paving the way for open agents and AGI for all.

★ 617 2026-08-09
personal-context-manager 开源

让AI记住你的上下文,实现真正的个性化交互

Since March 2025 this is genesis project for D-PC Messenger, focused on local contex···

★ 106 2026-08-09
llm-task-orchestrator 开源

自动分流编码任务,快活交给 Codex,重活用 Claude,省心高效。

Top AI Router 2026: Split Codex for Quick Code & Claude for Complex Refactoring

★ 123 2026-08-09
OpenOSINT 开源

用自然语言驱动 OSINT 工具链,快速完成开源情报收集与分析。

Open-source engine for passive OSINT checks: 21 tools as CLI, MCP server and web UI.···

★ 1846 2026-08-09
friday-studio 开源

自托管 AI 工作台,集成 MCP 工具与自动化,轻松打造专属助手

Agent Harness Platform — shareable workspaces, MCP tools, skills, memory, and cron/···

★ 102 2026-08-09
OneKE 开源

定义模式,自动抽取知识,Docker 一键部署。

[WWW 2025] A Dockerized Schema-Guided LLM Agent-based Knowledge Extraction System.

★ 197 2026-08-09
UFO 开源

把多个AI代理织成团队,自动搞定复杂任务

UFO³: Weaving the Digital Agent Galaxy

★ 10168 2026-08-09