项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 1266
使用教程
环境要求
- Python 3.11+(glance 仅需此项)
- 准备一个支持 OpenAI Chat Completions / Responses 或 Anthropic Messages 的多模态 API(含 base
- 使用 ground/detect/crop 及长截图 OCR 需额外安装 pillow
- 使用 trace 需 pillow + numpy(仅 --outline 回退时需要 vtracer)
- Node.js/npx(用 npx skills 安装 skill 时需要,也可手动拷贝 skills 目录)
安装与启动步骤
-
1写入视觉 API 配置
在本机配置目录创建 env 文件,写入三个必填变量并存为仅本人可读(chmod 600)。
mkdir -p ~/.config/agent-vision-toolkit && printf 'VISION_API_KEY=sk-xxxxxxxx\nVISION_BASE_URL=https://openrouter.ai/api/v1\nVISION_MODEL=google/gemini-3.6-flash\n' > ~/.config/agent-vision-toolkit/env && chmod 600 ~/.config/agent-vision-toolkit/env -
2克隆仓库并加入 PATH
把仓库拉到本地,将 bin 目录加入 PATH 以便直接调用 CLI;写入 shell 配置文件才能持久生效。
git clone https://github.com/Anionex/agent-vision-toolkit.git export PATH="$PWD/agent-vision-toolkit/bin:$PATH" -
3按需装可选依赖
仅为你实际使用的工具在隔离的 venv 中安装依赖:pillow 供 ground/detect/crop 与长截图 OCR,numpy 供 trace。
python3 -m venv .venv && .venv/bin/pip install pillow numpy -
4安装 vision-skills 技能
让智能体知道这些工具存在及如何组合使用;也可把 skills/vision-skills/ 拷进智能体技能目录(如 ~/.codex/skills/)。
npx skills add Anionex/agent-vision-toolkit --skill vision-skills -a codex -g --copy -y -
5重启智能体并粘贴图片
安装可选集成后重启智能体,直接粘贴图片或让模型调用其内置图片工具触发识别。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
VISION_API_KEY | 是 | 多模态模型的 API 密钥 | sk-xxxxxxxx |
VISION_BASE_URL | 是 | 服务商 API 基础地址,要含 /v1 但不带 /messages 等协议端点 | https://openrouter.ai/api/v1 |
VISION_MODEL | 是 | 多模态模型名称 | google/gemini-3.6-flash |
LANG | 否 | 视觉模型输出语言,zh 为中文(默认)、en 为英文 | zh |
VISION_API_PROTOCOL | 否 | Python 客户端/代理协议:chat_completions(默认)、responses 或 anthropic | anthropic |
VISION_UPSTREAM_PROXY | 否 | 上游代理地址,经 CONNECT 隧道转发;代理不支持认证 | http://127.0.0.1:7890 |
如何确认成功
重启智能体后粘贴一张图片,或让模型调用内置图片工具,能得到图片描述或识别结果即成功。
常见问题
Q:支持哪些视觉 API 接口?
A:任意兼容 OpenAI Chat Completions 且支持 image_url 的端点均可;也可用 /responses(设 VISION_API_PROTOCOL=responses)或 Anthropic Messages(base URL 以 /v1 结尾)。
Q:可以不装代理集成层吗?
A:可以。只装 CLI 加 skill 即可使用;无缝代理或原生扩展属于可选集成,Pi、Oh My Pi、OpenCode 使用单文件原生扩展而非代理。
Q:支持哪些编码智能体?
A:Codex、Claude Code、Pi、Oh My Pi、OpenCode。把安装说明发给当前智能体即可让它自行完成安装与配置。
Q:Anthropic 模式返回 HTTP 400 怎么办?
A:先把 VISION_ANTHROPIC_THINKING 恢复为默认的 omit,它不发送 thinking 字段、兼容性最好;仅当模型明确支持时再用 disabled 或 adaptive。
注意事项
- 配置文件含密钥,务必保持 chmod 600 权限。
- 代理默认直连上游、不读 Windows 系统代理,显式代理需用 --upstream-proxy 或 VISION_UPSTREAM_PROXY。
- 代理路由按连接成功情况切换,全部失败时返回 502 并列出各路由失败原因。
- Pi 与 OpenCode 原生扩展使用各自设置,目前只调用 /chat/completions。
核心亮点
- 支持多图理解与图片问答,粘贴即用,降低文本模型接入视觉的门槛
- 覆盖长截图 OCR、前端 UI 还原、GUI 自动化等具体场景,不是泛泛的视觉封装
- 可无缝接入 Codex、Claude Code、OpenCode 等多个主流 agent,复用现有工作流
不足之处
- 项目仍处成长阶段,文档和示例的完整度有待观察
- 作为视觉代理层,实际识别效果依赖底层模型与外部视觉服务,稳定性需自行验证
适用场景
- 前端开发者把设计稿截图粘贴给编码 agent,自动生成对应 UI 代码
- 测试或运维人员用长截图 OCR 快速提取日志、报错信息并交给 agent 分析
- GUI 自动化场景中让文本模型识别界面元素,完成点击、填表等操作
替代项目
microsoft/OmniParser、OpenAdaptAI/OpenAdapt
下一篇:huuuuuuho-skills
同类项目推荐
Sage
开源
搭可自我进化的智能体,配置即用还能越跑越强
An RSI Agent Harness for running, evaluating, and evolving agents—with tools, skill···
Agent-Execution-Partnership
开源
给AI代理装上安全阀门,动作先审批、全程可追踪、事后可审计。
Agent Execution Partnership AEE is an open-source control plane that ensures every A···
codex-autoresearch
开源
抛个研究方向,AI 持续盯进度定期汇报
Codex Autoresearch Skill — A self-directed iterative system for Codex that continuo···
claude-ops-inspector
开源
给 Claude 子代理代码做安全体检,防漏洞上线
Subagent Verification for Claude AI Code Networks 2026
Dynamics-memory
开源
把矛盾日志蒸馏成有界可纠错的智能体记忆
LLM agent 的有界自纠错长期记忆层:把连续、含矛盾的项目交互日志蒸馏成有界、可自更新的···
VulnBot
开源
多智能体分工跑通渗透测试全流程,省去手工串联工具的麻烦
The repository of VulnBot: Autonomous Penetration Testing for A Multi-Agent Collabor···
jadx-ai-mcp
开源
在 JADX 里直接问 AI,逆向分析效率翻倍
Plugin for JADX to integrate MCP server
ChatArena
开源
搭建多智能体语言游戏场,锻炼 AI 沟通协作能力
ChatArena (or Chat Arena) is a Multi-Agent Language Game Environments for LLMs. The ···
SkillAnything
开源
自动生成AI技能,让任何软件秒变智能体原生
Making ANY Software Skill-Native -- Auto-generate production-ready AI Agent Skills f···
