dsh-vision-toolkit

给纯文本模型装眼睛,粘贴图片就能问答和还原 UI

开源 🏷️定价信息待确认 ✅ 目前可打开 计算机视觉 🍴 复刻 48 🐛 待处理 5 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 942
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

dsh-vision-toolkit 项目界面预览图
图片来源:项目官网

项目数据

分类计算机视觉
开发团队Anionex
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型agent-skills,agent-vision-toolkit,computer-vision,deepseek,deepseek-harness,dsh,dsh-plugin,gui-automation,ocr,plugin,python,screenshot-testing,text-only-llm,typescript,ui-restoration,vision-language-model,vision-tools
GitHub 星标★ 942
上线时间2026-08-13 00:00:00
代码更新2026-11-12
仓库体积11.3 MB
本站数据更新2026-11-12
维护状态活跃
收录时间2026-09-29
浏览次数1

项目介绍

dsh-vision-toolkit 是一个为纯文本大模型补上视觉能力的工具箱,以 DeepSeek Harness 插件形式提供。它解决的核心问题是:很多文本模型本身不支持图像输入,导致用户无法直接让 AI 看图、读截图或还原界面。项目通过一行安装即可接入,支持粘贴图片直接识别、多图问答、长截图 OCR、截图到前端 UI 还原、目标定位(grounding)、像素级对比、Artifacts 产物输出以及 Web UI 操作。技术栈为 TypeScript,属于 agent-skills 与 agent-vision-toolkit 生态的一部分。它把视觉任务封装成可被 agent 调用的技能,让文本模型也能完成看图说话、界面复刻和自动化 GUI 操作,适合需要给现有文本模型快速加装视觉能力的开发者与自动化场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-29 · 当前星标 ★ 942

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 10 分钟 部署方式:Agent 插件 4 步

环境要求

  • 支持该插件的 Agent 宿主

安装与启动步骤

  1. 1装插件

    这是一个 dsh 的图像坐标工具包,装上后可直接把图片丢给 Agent 问位置。

  2. 2直接提问

    用自然语言描述要找的界面元素,它会返回原图像素坐标并可画出标注框。

    Find the login button in the top-right corner, return original pixel coordinates, and make a boxed preview.
  3. 3用于自动化

    拿到坐标后可喂给点击脚本或 UI 自动化框架,避免写脆弱的元素选择器。

  4. 4校验结果

    首次使用先人工核对一次坐标是否准确,再批量接入。

如何确认成功

返回的坐标落在目标元素上,预览图有正确标注框。

注意事项

  • 截图分辨率差异会影响精度,建议与自动化脚本使用同一分辨率。

核心亮点

  • 一行安装即接入 DeepSeek Harness,文本模型无需改造即可获得看图能力
  • 覆盖多图问答、长截图 OCR、UI 还原、grounding、像素 diff 等多种视觉任务,功能密度高
  • 提供 Web UI 与 Artifacts 输出,方便交互式调试和结果沉淀

不足之处

  • 项目处于早期阶段,API 与技能接口可能随版本变动
  • 强依赖 DeepSeek Harness 生态,脱离该环境后复用性有限

适用场景

  • 把设计稿或网页截图丢给文本模型,让它输出可用的前端 UI 代码
  • 对长聊天记录、文档截图做 OCR 并让模型总结问答
  • 自动化测试中用像素 diff 和 grounding 定位界面元素变化

替代项目

agent-vision-toolkit、Open Interpreter

上一篇:openmac

下一篇:withoutbg-python

同类项目推荐

SmartJavaAI 开源

Java 开发者福音:一行依赖,离线搞定人脸、OCR、语音等 AI 功能

Java免费离线AI算法工具箱,支持人脸识别,活体检测,表情识别、目标检测、实例分割、行人···

★ 938 2026-08-09
stitching 开源

多张照片一键拼成全景图,快且稳

A Python package for fast and robust Image Stitching

★ 2644 2026-09-17
osam 开源

本地一键运行多种SAM分割模型,快速验证提示视觉能力

Run SAM 1/2/3, EfficientSAM, YOLO-World and other promptable vision models locally, ···

★ 120 2026-08-09
onepanel 开源

一站式搞定计算机视觉项目,从标注到部署全流程自动化

The open source, end-to-end computer vision platform. Label, build, train, tune, dep···

★ 734 2026-08-09
Sa2VA 开源

一句话指挥AI分割图像视频,精准定位目标

Official Repo For Pixel-LLM Codebase: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxi···

★ 1701 2026-08-09
text-extract-api 开源

一条 API 把 PDF/图片变成干净 JSON,还能自动抹掉隐私信息

Document (PDF, Word, PPTX ...) extraction and parse API using state of the art moder···

★ 3198 2026-08-09
meikipop 开源

截图即查日语生词,阅读不中断

meikipop - universal japanese ocr popup dictionary for windows, linux and macos

★ 732 2026-09-19
galaxy-explorer 开源

浏览器里漫游程序化生成的银河系,无需后端和构建步骤

An interactive, procedurally-generated Milky Way galaxy in the browser — WebGL / th···

★ 101 2026-08-09
clearcam 开源

给普通摄像头装上 AI 大脑,自动识别、追踪并推送通知

Add object detection, tracking, mobile notifications, and search to any security cam···

★ 2510 2026-08-27