ViP-LLaVA

用点、框、涂鸦任意指,模型就能看懂你指的地方

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 22 🐛 待处理 19 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 338
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可自由使用和部署,无付费版本。

项目预览

ViP-LLaVA 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队WisconsinAIVision
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型chatbot,clip,cvpr2024,foundation-models,gpt-4,gpt-4-vision,llama,llama2,llava,multi-modal,vision-language,visual-prompting
GitHub 星标★ 338
上线时间2023-12-02 00:00:00
代码更新2024-07-17
仓库体积17.8 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

ViP-LLaVA是CVPR 2024收录的多模态大模型,旨在让模型理解任意视觉提示(如点、框、涂鸦等),而不仅限于文本指令。它解决了现有视觉语言模型只能处理全局图像或文本指定区域的问题,通过引入视觉提示编码器,将用户提供的视觉标记与图像特征融合,使模型能精准定位并理解用户指向的物体或区域。核心能力包括:支持多种视觉提示输入、与LLaVA架构兼容、在视觉提示理解任务上表现优异。该模型基于LLaVA扩展,结合CLIP视觉编码器和Llama2语言模型,实现了对任意视觉提示的灵活响应,适用于细粒度图像理解、交互式问答等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 338

核心亮点

  • 支持点、框、涂鸦等多种视觉提示,交互方式灵活
  • 基于LLaVA架构,易于集成现有多模态流程
  • CVPR 2024论文背书,方法有学术验证

不足之处

  • 项目早期,星标仅340,社区生态和文档待完善
  • 依赖LLaVA和Llama2,部署资源需求较高

适用场景

  • 细粒度图像理解:用户用框选物体询问属性
  • 交互式视觉问答:涂鸦指定区域获取描述
  • 辅助视觉障碍用户:通过指点方式获取图像信息

替代项目

LLaVA、Shikra、Ferret

上一篇:SkyText-Chinese-GPT3

下一篇:LLaVAR

同类项目推荐

caption-upsampling 开源

用大模型把一句话扩写成详细提示词,让SDXL出图更精准

This repository implements the idea of "caption upsampling" from DALL-E 3 with Zephy···

★ 157 2026-08-09
gpt4free 开源

一个入口问遍所有 AI,谁答得好就翻谁牌子

The official gpt4free repository | various collection of powerful language models | ···

★ 67018 2026-08-09
Attention-Sink 开源

看清注意力汇聚如何产生,优化你的语言模型训练与推理。

[ICLR 2025] When Attention Sink Emerges in Language Models: An Empirical View (Spotl···

★ 164 2026-08-09
flux-krea 开源

用文本提示词,一键生成高质量艺术图像

Official GitHub repository for FLUX.1 Krea [dev].

★ 369 2026-08-09
asdff 开源

几行代码调用 Stable Diffusion,快速生成图像

★ 56 2026-08-09
aarambh-studio 开源

纯 Rust 从零打造 LLM,不碰 Python 也能训大模型

Decoder-only LLM built from scratch in pure Rust using Candle — no Python, no PyTor···

★ 112 2026-09-08
llm-resource 开源

一页看全 LLM 全栈好资源,找工具不再大海捞针

LLM全栈优质资源汇总

★ 728 2026-08-09
ClaraVerse 开源

自托管 AI 全家桶,聊天、自动化、生图一网打尽,数据全在自己手里。

Claraverse is a opesource privacy focused ecosystem to replace ChatGPT, Claude, N8N,···

★ 3902 2026-08-09
chatgpt-share-web 开源

一个平台还原多款AI官网,自带用户和变现系统

chatgpt、claude、midjourney,grok和gemini官网完整还原,以及Claude Code和Codex完整镜像···

★ 364 2026-08-09