python-sdk

让AI像人一样操作电脑和手机,自动完成界面任务

python-sdk 是一个让 AI 直接操控桌面、移动端和 HMI 人机交互界面的开源工具包。它解决的是 AI 代理(Agent)无法像人一样操作 GUI 应用的问题,通过计算机视觉和智能体框架,将屏幕内容转化为 AI 可理解的指令,并自动执行点击、输入、滑动等操作。核心能力包括跨平台界面控制、基于视觉的界面元素识别、与主流 LLM 的集成,以及支持 RPA 和自动化测试场景。该 SDK 面向开发者,提供简洁的 Python 接口,可快速构建能“看”和“动”的 AI 应用,适用于 UI 自动化、端到端测试和智能助手开发。项目处于早期阶段,但技术方向明确,是构建通用计算机使用代理(CUA)的基础设施。

开源 unknown 自动化工作流
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 551
维护状态 活跃
是否开源 是
定价模式 unknown

项目数据

分类自动化工作流
开发团队askui
所属国家
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agents,computer-vision,cua,llms,rpa,test-automation,vision-agents
GitHub 星标★ 551
30天Star增速
HF 下载量
上线时间2024-10-25 00:00:00
最近更新2026-09-22 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-10
浏览次数6

使用教程

核心亮点

  • 提供跨桌面、移动和HMI的统一控制接口,覆盖面广
  • 基于计算机视觉识别界面元素,不依赖特定应用API,通用性强
  • 与LLM深度集成,支持自然语言驱动自动化操作,降低使用门槛

不足之处

  • 项目处于早期,API可能不稳定,文档和示例待完善
  • 视觉识别在复杂或动态界面下准确率待验证,可能需要调优

适用场景

  • 构建能自动操作软件的AI助手,如自动填写表单、导航应用
  • 用于移动端和桌面端的自动化回归测试,减少人工干预
  • 在工业HMI设备上实现智能化操作,辅助运维和监控

替代项目

pyautogui、Playwright、Appium

项目介绍

python-sdk 是自动化工作流领域的开源项目,由 askui 开发,2024 年首次发布。

它收录于自动化工作流分类,该分类目前共有 503 个项目,GitHub 星标数为 551。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-22。从国内网络环境看,可直接访问。

它主要面向的使用场景是:构建能自动操作软件的AI助手,如自动填写表单、导航应用。同类可对比的替代方案包括 pyautogui、Playwright、Appium。

上一篇:libretto

下一篇:XiaoFeiShu

同类项目推荐

n8n 开源

拖拽搭建自动化流程,轻松接入 AI 与 400+ 应用,搞定重复工作。

Fair-code workflow automation platform with native AI capabilities. Combine visual b···

★ 205700 2026-08-10
feishu-docx 开源

让 AI 代理轻松读写飞书文档,双向转换 Markdown

Feishu/Lark Docs、Sheet、Bitable <-> Markdown | AI Agent-friendly knowledge base exp···

★ 261 2026-08-09
robotcode 开源

让 Robot Framework 拥有现代 IDE 体验,调试、补全、运行一气呵成。

Open Source Toolkit for Robot Framework, providing Language Server Protocol support,···

★ 300 2026-08-10
puppeteer 开源

用 JavaScript 轻松操控无头浏览器,搞定自动化测试与网页抓取。

JavaScript API for Chrome and Firefox

★ 95609 2026-08-10