computer-use-linux

让 AI 智能体直接操控 Linux 桌面，跨应用自动干活

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 自动化工作流 🍴 复刻 98 🐛 待处理 8 👀 关注 6
GitHub ↗
GitHub 星标 ★ 797
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，无在线服务，需自行部署

项目预览

computer-use-linux 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类自动化工作流
开发团队agent-sh
GitHubhttps://github.com/agent-sh/computer-use-linux
定价模式🏷️完全免费
价格说明开源免费，无在线服务，需自行部署
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Rust
技术栈/模型agent,ai,cargo,claude,codex,computer-use,gnome,hermes,linux,llm,mcp,npm,oss,rust,shell,skill,tools,wayland,ydotool
GitHub 星标★ 797
上线时间2026-05-13 00:00:00
代码更新2026-11-02
仓库体积2.4 MB
本站数据更新2026-11-04
维护状态活跃
收录时间2026-09-16
浏览次数1

项目介绍

computer-use-linux 是一个用 Rust 编写的 Linux 桌面自动化控制服务，通过 MCP（Model Context Protocol）把 Linux 桌面能力暴露给 Claude、Codex 等 AI 智能体。它解决的核心问题是：现有 computer-use 方案多集中在 macOS 和 Windows，Linux 桌面缺乏统一、可被 LLM 调用的控制层。项目整合了 AT-SPI 无障碍接口读取界面元素、GNOME Shell 扩展获取窗口状态、Wayland portals 处理截图与输入授权，并用 ydotool 在 Wayland 下模拟键鼠操作，从而绕开 X11 时代工具在 Wayland 上的兼容性问题。核心能力包括：查询当前窗口与可访问性树、点击/输入/滚动、截屏、执行 shell 命令等，让 AI 代理能像人一样操作 Linux 桌面完成跨应用任务。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 797

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶 约 30 分钟 部署方式：本地安装 4 步

环境要求

  • Linux 桌面（X11 或 Wayland）
  • AT-SPI 服务
  • Python 3.10+

安装与启动步骤

  1. 1装系统依赖

    给 Agent 结构化的 Linux 桌面控制能力。

    sudo apt install python3-pyatspi at-spi2-core

  2. 2装包

    Python 包方式提供。

    pip install computer-use-linux

  3. 3确认可访问性

    AT-SPI 树读不到就没法语义定位。

    python -c "import pyatspi; print(len(list(pyatspi.Registry.getDesktop(0))))"

  4. 4跑一次操作

    让 Agent 打开应用并点一个按钮。

    python -m computer_use_linux.demo

如何确认成功

Agent 能读取窗口元素树并成功点击目标控件。

注意事项

  • 语义树比截图识别稳定得多，这是它的核心优势。
  • Wayland 下输入注入需要额外权限。
  • 别在真实工作桌面里跑，用虚拟机更安全。

核心亮点

  • 原生支持 Wayland，用 ydotool + portals 绕开 X11 工具在 Wayland 下的失效问题
  • 基于 AT-SPI 无障碍树读取界面元素，比纯截图坐标点击更稳定、更语义化
  • 用 Rust 实现，通过 MCP 标准协议对接 Claude/Codex 等主流智能体，接入成本低

不足之处

  • 依赖 GNOME Shell 扩展与 AT-SPI，在 KDE、Sway 等非 GNOME 环境可能功能受限
  • 项目处于早期，543 星，文档与社区生态尚不成熟

适用场景

  • 让 AI 代理自动填写网页表单、下载并整理文件
  • 在 Linux 桌面上做跨应用的 UI 自动化测试
  • 用自然语言指令驱动桌面完成重复性办公操作

替代项目

pyautogui、xdotool、Open Interpreter

上一篇：reader

下一篇：video-recap-skills

同类项目推荐

pywechat 开源

用 Python 操控 PC 微信，4.0 也能自动发消息

仍然可用的微信RPA！支持4.0系列微信pywechat是一个基于pywinauto实现的windows桌面微信自···

★ 2080 2026-09-29
claude-ops 开源

一句话指挥 Claude 管完收件箱、收入、AWS 和 PR

Business operating system for Claude Code — 57 skills, 21 agents, smart daemon. Uni···

★ 548 2026-09-25
ai-auto-work 开源

让 AI 自动跑完需求到开发评审，搞定中大型项目

Automatically completes the full workflow from requirement research → research revi···

★ 132 2026-08-09
surf-cli 开源

零配置让 AI 直接操控 Chrome，省去繁琐调试

The CLI for AI agents to control Chrome. Zero config, agent-agnostic, battle-tested.

★ 684 2026-08-09
ok-script 开源

用 Python 看屏幕做操作，游戏自动化少写底层代码

Vibe Coding Automation Framework

★ 823 2026-09-18
gpt-home 开源

树莓派自建语音管家，本地控家电更私密

ChatGPT at home! A better alternative to commercial smart home assistants, built on ···

★ 652 2026-09-16
Tiktok-Booster 开源

自动刷 TikTok 播放量，OCR 过验证码，解放双手

Automate TikTok view boosting with CAPTCHA bypass using Tesseract OCR.

★ 269 2026-09-29
Taskosaur 开源

用聊天就能管项目，AI 自动执行任务，省去繁琐操作。

Open Source Project Management with Conversational AI Task Execution. Built for team···

★ 605 2026-08-09
pie-ai-agent 开源

用大白话指挥 Chrome，AI 自动帮你干活，先确认再执行。

Pie – free, open-source AI browser agent for Chrome. Reads pages & PDFs, fills form···

★ 93 2026-08-09