python-sdk

让AI像人一样操作电脑和手机,自动完成界面任务

开源 🏷️定价信息待确认 ✅ 目前可打开 自动化工作流 🍴 复刻 61 🐛 待处理 3 👀 关注 9
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 557
维护状态 较活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

python-sdk 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类自动化工作流
开发团队askui
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agents,computer-vision,cua,llms,rpa,test-automation,vision-agents
GitHub 星标★ 557
上线时间2024-10-25 00:00:00
代码更新2026-10-26
仓库体积6.3 MB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-10
浏览次数7

项目介绍

python-sdk 是一个让 AI 直接操控桌面、移动端和 HMI 人机交互界面的开源工具包。它解决的是 AI 代理(Agent)无法像人一样操作 GUI 应用的问题,通过计算机视觉和智能体框架,将屏幕内容转化为 AI 可理解的指令,并自动执行点击、输入、滑动等操作。核心能力包括跨平台界面控制、基于视觉的界面元素识别、与主流 LLM 的集成,以及支持 RPA 和自动化测试场景。该 SDK 面向开发者,提供简洁的 Python 接口,可快速构建能“看”和“动”的 AI 应用,适用于 UI 自动化、端到端测试和智能助手开发。项目处于早期阶段,但技术方向明确,是构建通用计算机使用代理(CUA)的基础设施。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 557

使用教程

难度:进阶 约 40 分钟 部署方式:本地安装 5 步

环境要求

  • Python 环境
  • 桌面环境

安装与启动步骤

  1. 1装基础包

    界面自动化测试的开发包。

    pip install askui
  2. 2按需装全套

    要用全部能力就装这个变体。

    pip install askui[all]
  3. 3起运行时

    自动化需要一个常驻的运行时进程。

  4. 4写第一个用例

    先用文字描述操作步骤。

  5. 5接进测试流水线

    跑通了再进持续集成。

如何确认成功

一段文字描述的界面操作能被正确执行,用例连续跑三次结果稳定

注意事项

  • 它按视觉识别操作界面,不依赖元素选择器。
  • 分辨率与缩放变化会影响识别。
  • 执行速度比传统自动化慢。
  • 适合传统选择器不好使的场景。

核心亮点

  • 提供跨桌面、移动和HMI的统一控制接口,覆盖面广
  • 基于计算机视觉识别界面元素,不依赖特定应用API,通用性强
  • 与LLM深度集成,支持自然语言驱动自动化操作,降低使用门槛

不足之处

  • 项目处于早期,API可能不稳定,文档和示例待完善
  • 视觉识别在复杂或动态界面下准确率待验证,可能需要调优

适用场景

  • 构建能自动操作软件的AI助手,如自动填写表单、导航应用
  • 用于移动端和桌面端的自动化回归测试,减少人工干预
  • 在工业HMI设备上实现智能化操作,辅助运维和监控

替代项目

pyautogui、Playwright、Appium

上一篇:libretto

下一篇:XiaoFeiShu

同类项目推荐

openwork 开源

用代码把零散任务串成自动流水线,少写重复脚本

★ 1458 2026-09-12
manifold 开源

组建AI团队,自动搞定复杂长流程工作

Manifold is an experimental platform for enabling long horizon workflow automation u···

★ 503 2026-08-09
obsei 开源

低代码抓全网评论,AI 分析后自动告警

Open source, privacy-first Voice of Customer analytics. A self-hosted alternative to···

★ 1451 2026-09-26
claude-telegram-supercharged 开源

在 Telegram 里 24 小时语音指挥 Claude Code 写代码

Run Claude Code 24/7 from Telegram. Drop-in upgrade for the official plugin: voice n···

★ 145 2026-09-30
alumnium 开源

用自然语言写 E2E 测试,页面改版也不易挂

End-to-End Testing Harness

★ 1022 2026-09-16
web-dev-skills 开源

让 Claude Code 按 PRD 自动走完开发全流程,从需求到演示一气呵成。

Turns PRD -> Design -> Task -> Development -> Acceptance -> Release into a reusable ···

★ 103 2026-08-09
Droidline 开源

不插线不 root,用代码远程操控真机

Android automation from code. Test your apps on real phones, script the tasks you re···

★ 497 2026-10-24
ppt_presenter 开源

把PPT一键变成带语音讲解的视频

Convert ppt to video with audio track, using text to speech synthesis

★ 70 2026-08-09
bah-browser 开源

说句话,AI 帮你操作网页,省时省力

Open-source AI browser agent — type plain-language commands and Bah operates the we···

★ 108 2026-08-09