agent-desktop

让 AI 代理像人一样操作桌面应用，输出结构化结果

agent-desktop 是一个面向 AI 代理的原生桌面自动化 CLI 工具，基于 Rust 开发。它通过操作系统辅助功能树（accessibility trees）控制任何应用程序，输出结构化 JSON 并提供确定性元素引用，使 AI 代理能够稳定、可靠地操作桌面应用。该工具解决了传统桌面自动化中元素定位不稳定、输出非结构化、难以与 AI 代理集成等问题。核心能力包括跨应用控制、结构化输出、确定性元素引用、MCP 支持等，适用于 macOS 平台。它可作为 CLI 工具直接使用，也可通过 MCP 协议集成到 AI 代理工作流中，为 AI 提供桌面操作能力。

开源 free 智能体

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1585

维护状态活跃

是否开源是

定价模式 free

项目数据

分类智能体

开发团队lahfir

所属国家

官网地址

GitHubhttps://github.com/lahfir/agent-desktop

定价模式free

价格说明开源项目，Apache-2.0 许可证，完全免费，无付费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Rust

技术栈/模型accessibility,accessibility-api,ai-agents,automation,cli,computer-use,computer-use-agent,computer-use-agents,desktop-automation,macos,mcp,rust

GitHub 星标★ 1585

30天Star增速

HF 下载量

上线时间2026-02-19 00:00:00

最近更新2026-09-23 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：入门约 10 分钟部署方式：命令行工具 3 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

macOS 系统（README 说明该工具面向 macOS 平台）
已安装 npm 环境（README 徽章显示项目以 npm 包 agent-desktop 分发）
命令行中可直接调用 agent-desktop 命令

安装与启动步骤

1安装 CLI 工具

根据 README 中的 npm 徽章，项目以 npm 包 agent-desktop 分发；全局安装后即可使用 agent-desktop 命令。
```
npm install -g agent-desktop
```
2查看应用整体结构

用 snapshot 配合 --skeleton 输出深度 3 的结构地图，被截断的容器会给出 children_count，便于判断下钻位置。
```
agent-desktop snapshot --skeleton --app Slack -i --compact
```
3下钻目标区域

对截断分支用 --root 指定安全下钻引用，并用上一步返回的 --snapshot 标识继续查看该区域细节。
```
agent-desktop snapshot --root @e3 --snapshot s8f3k2p9 -i --compact
```

如何确认成功

执行 agent-desktop snapshot --skeleton --app Slack -i --compact 后能正常输出结构化 JSON，说明工具已可用。

常见问题

Q：支持 Windows 或 Linux 吗？

A：README 说明该工具面向 macOS，通过操作系统辅助功能树控制应用，其他平台未在 README 中提及。

Q：@e3 和 s8f3k2p9 是固定参数吗？

A：不是，它们是 README 示例中的元素引用与快照标识。实际使用时必须替换为上一步命令输出里真实返回的值。

Q：为什么要先用 --skeleton？

A：它输出深度 3 的概览地图，截断的容器会显示 children_count，方便决定先下钻哪个区域，避免一次性拉取过多节点。

注意事项

README 节选中 Installation 部分未展开具体内容，本教程的安装方式依据 npm 徽章推断，请以仓库最新说明为准。
示例中的 Slack、@e3、s8f3k2p9 均为演示值，实际操作时需替换为你自己环境的真实值。
AI 代理集成可参考 README 提到的 MCP 支持能力，具体配置请查阅仓库文档。

核心亮点

基于辅助功能树，元素定位稳定，输出结构化 JSON，便于 AI 解析
提供确定性元素引用，避免自动化中常见的元素漂移问题
原生 Rust 实现，性能高效，支持 MCP 协议，易于集成到 AI 代理框架

不足之处

目前仅支持 macOS，跨平台支持待完善
文档/社区待观察

适用场景

AI 代理自动化执行桌面软件操作，如填写表单、点击按钮
构建基于桌面应用的 RPA 流程，替代传统脚本自动化
集成到 MCP 生态，为 AI 助手提供桌面控制能力

替代项目

PyAutoGUI、Appium、WinAppDriver

项目介绍

agent-desktop 是自动化工作流领域的开源项目，由 lahfir 开发，是 2026 年新上线的项目。

在全站 13,014 个收录项目中，它的 GitHub 星标数（1,585）位列前 30%，在自动化工作流分类中处于中上游。

近 45 天，它的 GitHub 星标从 1,003 增加到 1,585，净增 582。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。Apache-2.0 许可证，完全免费，无付费版本。

它主要面向的使用场景是：AI代理自动化执行桌面软件操作，如填写表单、点击按钮。同类可对比的替代方案包括 PyAutoGUI、Appium、WinAppDriver。

上一篇：aidevops

下一篇：Interceptor