项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-29 · 当前星标 ★ 942
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 支持该插件的 Agent 宿主
安装与启动步骤
-
1装插件
这是一个 dsh 的图像坐标工具包,装上后可直接把图片丢给 Agent 问位置。
-
2直接提问
用自然语言描述要找的界面元素,它会返回原图像素坐标并可画出标注框。
Find the login button in the top-right corner, return original pixel coordinates, and make a boxed preview. -
3用于自动化
拿到坐标后可喂给点击脚本或 UI 自动化框架,避免写脆弱的元素选择器。
-
4校验结果
首次使用先人工核对一次坐标是否准确,再批量接入。
如何确认成功
返回的坐标落在目标元素上,预览图有正确标注框。
注意事项
- 截图分辨率差异会影响精度,建议与自动化脚本使用同一分辨率。
核心亮点
- 一行安装即接入 DeepSeek Harness,文本模型无需改造即可获得看图能力
- 覆盖多图问答、长截图 OCR、UI 还原、grounding、像素 diff 等多种视觉任务,功能密度高
- 提供 Web UI 与 Artifacts 输出,方便交互式调试和结果沉淀
不足之处
- 项目处于早期阶段,API 与技能接口可能随版本变动
- 强依赖 DeepSeek Harness 生态,脱离该环境后复用性有限
适用场景
- 把设计稿或网页截图丢给文本模型,让它输出可用的前端 UI 代码
- 对长聊天记录、文档截图做 OCR 并让模型总结问答
- 自动化测试中用像素 diff 和 grounding 定位界面元素变化
替代项目
agent-vision-toolkit、Open Interpreter
上一篇:openmac
下一篇:withoutbg-python
同类项目推荐
SmartJavaAI
开源
Java 开发者福音:一行依赖,离线搞定人脸、OCR、语音等 AI 功能
Java免费离线AI算法工具箱,支持人脸识别,活体检测,表情识别、目标检测、实例分割、行人···
stitching
开源
多张照片一键拼成全景图,快且稳
A Python package for fast and robust Image Stitching
osam
开源
本地一键运行多种SAM分割模型,快速验证提示视觉能力
Run SAM 1/2/3, EfficientSAM, YOLO-World and other promptable vision models locally, ···
onepanel
开源
一站式搞定计算机视觉项目,从标注到部署全流程自动化
The open source, end-to-end computer vision platform. Label, build, train, tune, dep···
Sa2VA
开源
一句话指挥AI分割图像视频,精准定位目标
Official Repo For Pixel-LLM Codebase: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxi···
text-extract-api
开源
一条 API 把 PDF/图片变成干净 JSON,还能自动抹掉隐私信息
Document (PDF, Word, PPTX ...) extraction and parse API using state of the art moder···
meikipop
开源
截图即查日语生词,阅读不中断
meikipop - universal japanese ocr popup dictionary for windows, linux and macos
galaxy-explorer
开源
浏览器里漫游程序化生成的银河系,无需后端和构建步骤
An interactive, procedurally-generated Milky Way galaxy in the browser — WebGL / th···
clearcam
开源
给普通摄像头装上 AI 大脑,自动识别、追踪并推送通知
Add object detection, tracking, mobile notifications, and search to any security cam···
