
dsh-vision-router
一条命令给文本 agent 装上眼睛,免费看图问答
dsh-vision-router 是给纯文本 DeepSeek Harness(dsh)智能体装上"眼睛"的插件。dsh 这类 agent 本身只能处理文字,遇到图片就抓瞎,而该项目通过一个内置的免费视觉链(无需 API key)把图片理解能力接进来,让图像对话像普通工具调用一样自然发生。它提供像素级的视觉工具集:图片问答、目标定位(grounding)、裁剪、像素级差异对比、颜色提取、OCR 文字识别、SVG 描摹、抠图以及截图。安装只需一条命令,不依赖 Python,对 JavaScript 生态友好。核心价值在于降低多模态门槛——开发者不用自己搭视觉服务、不用申请密钥,就能让文本 agent 直接"看图说话",适合快速给现有 agent 增加视觉能力、做图像调试或自动化截图分析等任务。
项目数据
使用教程
环境要求
- 已安装 Node.js,可使用 npx(普通 npm/npx 安装方式)
- 已具备 DeepSeek Harness(DSH)CLI,或从源码 checkout 的 deepseek-harness 仓库
- DSH Web 使用 web profile
- 无需 Python,无需申请视觉 API key(内置免费视觉链)
安装与启动步骤
-
1安装插件
在终端执行这一条命令,把 dsh-vision-router 加到 web profile;这是官方推荐的安装路径。
npx @deepseek-ai/dsh plugin --profile web add dsh-vision-router -
2源码方式安装
如果从源码 checkout 运行 DSH 且 dsh 不在 PATH 上,用 pnpm 工作区脚本,先进入仓库目录。
cd deepseek-harness pnpm dsh plugin --profile web add dsh-vision-router -
3验证是否装上
用 dump-config 导出配置并 grep,能搜到 vision-router 就说明插件已登记进该 profile。
npx @deepseek-ai/dsh --profile web --dump-config | grep vision-router -
4重载 DSH Web
按你平时的方式启动或重载 DSH Web;若是长期运行的 Web 进程,需让它 reload 一次才能发现插件 bundle。
-
5打开视觉开关
在对话输入区启用“ Vision”控件,之后图片轮次就像普通工具调用轮次一样使用,可定位、可度量、可复现。
-
6按需调整配置
默认全部可选且开箱可用;优先在“Settings → Vision Router”里改,高级部署可用 profile 覆盖。
-
7卸载(可选)
想移除插件时执行对应的 remove 命令即可。
npx @deepseek-ai/dsh plugin --profile web remove dsh-vision-router
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
routingMode | 否 | ordered 保持配置的模型链顺序;auto 交给实测能力证据排序 | ordered |
provider / model | 否 | 简写式视觉后端路由,必须是真正接受图片的模型 | vision-http / ovh/Qwen2.5-VL-72B-Instruct |
localOllama | 否 | 本地视觉后端;启用后位于 HTTP 视觉链最前,宕机自动跳过 | { enabled: false, baseURL: 'http://127.0.0.1:11434/v1', mode |
timeoutMs | 否 | 单次视觉调用超时时间(毫秒) | 120000 |
artifactsDir | 否 | 产物目录,路径相对于会话工作区 | .dsh-vision-router/artifacts |
desktopScreenshot | 否 | 是否允许模型调用桌面截图工具,隐私需显式开启 | false |
如何确认成功
执行 npx @deepseek-ai/dsh --profile web --dump-config | grep vision-router 能搜到条目,且 DSH Web 重载后设置中出现 Vision Router。
常见问题
Q:需要申请 API key 或装 Python 吗?
A:不需要。项目内置免费视觉链,开箱即用,不依赖 Python,对 JavaScript 生态友好。
Q:我之前用 cordis.patch.yml 手动加载插件,能再执行 dsh plugin add 吗?
A:不建议混用。当前 DSH CLI 可能把 bundle-patch 依赖写入 dsh.profile.bundles,导致插件注册两次;应先把手动插件行迁移到 bundle 管理,或继续走手动安装路径。
Q:装完为什么没反应?
A:如果插件装进一个已长期运行的 Web 进程,需要让该 DSH Web 进程 reload 一次,插件 bundle 才会被发现。
Q:改配置要重启吗?
A:多数不用。插件加载后,增删模型或改 wrapper 范围会热更新;但 progressiveTools 是启动时配置,需重启生效。
Q:第三方 dsh-web-plugin-manager / dshpm 能用吗?
A:v0.4.2+ 兼容,其质量门已允许 @deepseek-ai/schemastery 作为运行时依赖;但官方 DSH CLI 仍是推荐安装路径。
注意事项
- 不要混用 legacy 手动插件行与 bundle 管理的 dsh plugin add / dsh plugin list,否则插件可能注册两次。
- 配置项全部可选、默认即可用,优先通过 Settings → Vision Router 修改,profile 覆盖留给高级部署。
- providers 链里不要放纯文本模型,必须是真正接受图片的模型。
- 某些配置(如 progressiveTools)属于启动时配置,改动需要重启 DSH。
核心亮点
- 内置免费视觉链,无需 API key 即可用,零成本接入多模态
- 提供像素级工具集:grounding、裁剪、像素 diff、OCR、抠图、SVG 描摹等覆盖广
- 安装一条命令且不依赖 Python,对 JS 项目接入成本低
不足之处
- 免费视觉链的识别精度和稳定性受上游服务限制,复杂图像可能不准
- 项目较新、星标 1108,长期维护与生态完善度待观察
适用场景
- 给只能读文字的 DeepSeek agent 增加看图问答能力
- 自动化截图对比与像素级 UI 回归检测
- 从图片中提取文字、颜色或描摹成 SVG 用于设计/前端
替代项目
LiteLLM、Open Interpreter、mcp-server-fetch
项目介绍
上一篇:makeacopy
下一篇:没有了!
同类项目推荐
modlens
开源
给纯文本编码代理装上眼睛,粘贴图片即刻获得结构化视觉证据。
The first vision plugin for DeepSeek Harness, and the vision bridge for every text-o···
opencv
开源
开箱即用的视觉算法库,搞定图像视频处理与识别
Open Source Computer Vision Library
OpenCVTutorials
开源
中文 OpenCV 教程,从入门到实战,边看边跑代码
OpenCV-Python4.1 中文文档
DEIMv2
开源
用DINOv3做实时检测,又快又准,直接落地。
[DEIMv2] Real Time Object Detection Meets DINOv3