agent-desktop

让 AI 代理像人一样操作桌面应用,输出结构化结果

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 智能体 🍴 复刻 1384 🐛 待处理 191 👀 关注 45
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 18887
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,无付费版本。

项目预览

agent-desktop 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类智能体
开发团队vercel-labs
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Rust
技术栈/模型accessibility,accessibility-api,ai-agents,automation,cli,computer-use,computer-use-agent,computer-use-agents,desktop-automation,macos,mcp,rust
GitHub 星标★ 18887
上线时间2026-02-19 00:00:00
代码更新2026-11-07
仓库体积69.7 MB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数15

项目介绍

agent-desktop 是一个面向 AI 代理的原生桌面自动化 CLI 工具,基于 Rust 开发。它通过操作系统辅助功能树(accessibility trees)控制任何应用程序,输出结构化 JSON 并提供确定性元素引用,使 AI 代理能够稳定、可靠地操作桌面应用。该工具解决了传统桌面自动化中元素定位不稳定、输出非结构化、难以与 AI 代理集成等问题。核心能力包括跨应用控制、结构化输出、确定性元素引用、MCP 支持等,适用于 macOS 平台。它可作为 CLI 工具直接使用,也可通过 MCP 协议集成到 AI 代理工作流中,为 AI 提供桌面操作能力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 18887

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:入门 约 10 分钟 部署方式:命令行工具 3 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • macOS 系统(README 说明该工具面向 macOS 平台)
  • 已安装 npm 环境(README 徽章显示项目以 npm 包 agent-desktop 分发)
  • 命令行中可直接调用 agent-desktop 命令

安装与启动步骤

  1. 1安装 CLI 工具

    根据 README 中的 npm 徽章,项目以 npm 包 agent-desktop 分发;全局安装后即可使用 agent-desktop 命令。

    npm install -g agent-desktop
  2. 2查看应用整体结构

    用 snapshot 配合 --skeleton 输出深度 3 的结构地图,被截断的容器会给出 children_count,便于判断下钻位置。

    agent-desktop snapshot --skeleton --app Slack -i --compact
  3. 3下钻目标区域

    对截断分支用 --root 指定安全下钻引用,并用上一步返回的 --snapshot 标识继续查看该区域细节。

    agent-desktop snapshot --root @e3 --snapshot s8f3k2p9 -i --compact

如何确认成功

执行 agent-desktop snapshot --skeleton --app Slack -i --compact 后能正常输出结构化 JSON,说明工具已可用。

常见问题

Q:支持 Windows 或 Linux 吗?

A:README 说明该工具面向 macOS,通过操作系统辅助功能树控制应用,其他平台未在 README 中提及。

Q:@e3 和 s8f3k2p9 是固定参数吗?

A:不是,它们是 README 示例中的元素引用与快照标识。实际使用时必须替换为上一步命令输出里真实返回的值。

Q:为什么要先用 --skeleton?

A:它输出深度 3 的概览地图,截断的容器会显示 children_count,方便决定先下钻哪个区域,避免一次性拉取过多节点。

注意事项

  • README 节选中 Installation 部分未展开具体内容,本教程的安装方式依据 npm 徽章推断,请以仓库最新说明为准。
  • 示例中的 Slack、@e3、s8f3k2p9 均为演示值,实际操作时需替换为你自己环境的真实值。
  • AI 代理集成可参考 README 提到的 MCP 支持能力,具体配置请查阅仓库文档。

核心亮点

  • 基于辅助功能树,元素定位稳定,输出结构化 JSON,便于 AI 解析
  • 提供确定性元素引用,避免自动化中常见的元素漂移问题
  • 原生 Rust 实现,性能高效,支持 MCP 协议,易于集成到 AI 代理框架

不足之处

  • 目前仅支持 macOS,跨平台支持待完善
  • 文档/社区待观察

适用场景

  • AI 代理自动化执行桌面软件操作,如填写表单、点击按钮
  • 构建基于桌面应用的 RPA 流程,替代传统脚本自动化
  • 集成到 MCP 生态,为 AI 助手提供桌面控制能力

替代项目

PyAutoGUI、Appium、WinAppDriver

上一篇:aidevops

下一篇:Interceptor

同类项目推荐

kane-cli 开源

用大白话写测试,AI 自动跑浏览器验证

Kane CLI by TestMu AI (Formerly LambdaTest)

★ 263 2026-08-09
HeadlessX 开源

让浏览器自动化隐形,反检测抓取不再愁

The undetected self-hosted browser automation platform. Powered by Camoufox (Firefox···

★ 2356 2026-08-10
OpAgent 开源

让 AI 像人一样点网页,自动完成多步操作

The OpAgent framework is used to automate web browser operations, achieving State-of···

★ 237 2026-10-13
decodo-openclaw-skill 开源

让智能体一键抓取任意网页,直接喂给大模型用

OpenClaw skill for scraping any URL using the Decodo Web Scraping API.

★ 152 2026-08-09
MoneyPrinter 开源

输入主题,自动生成一条YouTube短视频,省去剪辑烦恼

Automate Creation of YouTube Shorts using MoviePy.

★ 14160 2026-08-09
tiaportal-mcp 开源

在 VS Code 里用 Copilot 直接读写 TIA Portal 项目

A MCP server for Siemens TIA Portal

★ 134 2026-09-25
jev-browser 开源

让 AI 选控件,Playwright 执行,浏览器自动化更稳

Jev Browser — indexed browser automation. Jev chooses the control, Playwright acts.···

★ 8 2026-09-27
moli 开源

让 AI 代理秒开网页,快如闪电的 Rust 无头浏览器

Best headless browser for AI agents. Lite, Fast, High-Compatibility. Built in Rust

★ 22936 2026-09-08