
guibot
用图像识别找控件,跨平台自动点界面
Guibot 是一个 Python 编写的 GUI 自动化工具,核心思路是把计算机视觉识别与显示控制后端解耦,让脚本能在不同平台上定位并操作界面元素。它解决的是传统 GUI 自动化依赖固定坐标、换分辨率或换主题就失效的问题:通过图像匹配、OCR、模板识别等方式找到按钮、输入框等目标,再调用后端执行点击、输入、拖拽等动作。项目支持多种 CV 后端(如 OpenCV、CImg)和显示控制后端(如 X11、VNC、Windows),可组合使用,适合需要跨环境运行的自动化任务。它提供 Python API,也能作为库嵌入测试框架,常用于桌面应用回归测试、远程桌面操作和重复性界面流程自动化。
项目数据
使用教程
核心亮点
- 视觉识别与显示控制后端解耦,可自由组合 OpenCV、X11、VNC 等,适配不同环境
- 支持图像匹配、OCR 等多种定位方式,不依赖固定坐标,换分辨率或主题后仍可用
- 提供 Python API,可嵌入 pytest 等测试框架,方便做桌面应用回归测试
不足之处
- 项目星标仅 186,社区规模小,文档和示例相对有限
- 依赖多种 CV 与显示后端,环境配置较复杂,新手上手成本偏高
适用场景
- 桌面应用跨平台回归测试,自动点击按钮并校验界面状态
- 远程 VNC 环境下批量执行重复的界面操作流程
- 需要图像识别定位控件、无法用控件树访问的遗留软件自动化
替代项目
SikuliX、PyAutoGUI
项目介绍
同类项目推荐
n8n
开源
拖拽搭建自动化流程,轻松接入 AI 与 400+ 应用,搞定重复工作。
Fair-code workflow automation platform with native AI capabilities. Combine visual b···
robotcode
开源
让 Robot Framework 拥有现代 IDE 体验,调试、补全、运行一气呵成。
Open Source Toolkit for Robot Framework, providing Language Server Protocol support,···
puppeteer
开源
用 JavaScript 轻松操控无头浏览器,搞定自动化测试与网页抓取。
JavaScript API for Chrome and Firefox
customermates
开源
比 Pipedrive 直观 10 倍的现代开源 CRM,轻松管理客户与自动化流程。
Building a modern alternative to Pipedrive that is 10x more intuitive.