VisionLLM 是开源模型领域的开源项目，由 OpenGVLab 开发，2023 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（1,153）位列前 30%，在开源模型分类中处于中上游。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。Apache-2.0许可证，可免费使用和部署。
它主要面向的使用场景是：多模态对话助手，如基于图像的智能客服。同类可对比的替代方案包括 LLaVA、Qwen-VL、CogVLM。
VisionLLM
让视觉模型听懂人话，直接对话图像内容
VisionLLM 是一个专注于视觉-语言大模型的开源系列项目，旨在弥合视觉理解与语言模型之间的鸿沟。它解决的核心问题是传统视觉模型难以直接与大型语言模型高效协同的问题，通过提供统一的模型架构和训练范式，使模型能够同时处理图像和文本输入，并生成文本输出。项目包含多个模型变体，如 VisionLLM-v2，支持视觉定位、视觉问答、图像描述等任务。其核心能力包括基于 Transformer 的视觉编码器、与 LLM 的对齐机制、以及多任务指令微调流程。项目提供了完整的训练和推理代码，以及预训练模型权重，方便研究者和开发者进行二次开发和应用部署。
开源
free
开源模型
GitHub 星标
★ 1153
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队OpenGVLab
所属国家
定价模式free
价格说明开源模型，Apache-2.0许可证，可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型generalist-model,large-language-models,object-detection
GitHub 星标★ 1153
30天Star增速
HF 下载量
上线时间2023-05-18 00:00:00
最近更新2026-09-23 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- Python 环境（项目开发语言为 Python）
- 具备 GPU 的机器，用于运行视觉-语言大模型推理
- 自行准备图像/文本输入数据
- 网络可访问 GitHub 以克隆仓库
安装与启动步骤
-
1克隆官方仓库
从 GitHub 拉取 VisionLLM 源码，README 节选未提供其他获取方式，请保持仓库完整。
git clone https://github.com/OpenGVLab/VisionLLM.git -
2进入项目目录
切换工作目录到克隆下来的仓库根目录，后续操作都在该目录内进行。
cd VisionLLM -
3确认版本与论文
README 节选仅给出两篇论文与版本发布信息，请据此确认要使用 VisionLLM 还是 VisionLLM v2。
如何确认成功
节选未给出启动命令，可确认仓库克隆完成、目录文件完整，并核对 README 中版本信息与目标一致。
常见问题
Q：VisionLLM 和 VisionLLM v2 有什么区别？
A：VisionLLM（NIPS2023）把大语言模型作为开放式解码器处理视觉中心任务；VisionLLM v2（NIPS2024，2024/06 发布）是通用多模态大模型，支持数百种视觉-语言任务。
Q：VisionLLM v2 支持哪些任务？
A：覆盖视觉理解、感知与生成三大类，具体包括视觉定位、视觉问答、图像描述等数百种视觉-语言任务。
Q：README 里为什么没有安装步骤？
A：本次提供的只是 README 节选，内容以论文链接和 News 为主，安装与推理说明需查看仓库最新完整 README。
Q：可以直接下载预训练权重吗？
A：项目介绍提到提供预训练模型权重，但节选中未给出下载地址，请以官方仓库文档中的链接为准。
注意事项
- README 节选未包含安装、依赖与启动命令，本教程只整理可确认的准备动作，执行前请阅读仓库最新完整说明。
- 项目分为 VisionLLM 与 VisionLLM v2 两个版本，使用前先确认所需版本，避免混用代码与权重。
- VisionLLM v2 定位为通用多模态大模型，对显存要求较高，建议在 GPU 环境部署。
核心亮点
- 统一架构同时处理视觉和语言，简化多模态模型开发
- 提供多个预训练模型，覆盖视觉问答、定位等主流任务
- 代码结构清晰，基于主流框架，易于定制和扩展
不足之处
- 文档和社区生态尚处于早期，资料相对有限
- 模型规模较大，推理资源需求高，不适合轻量部署
适用场景
- 多模态对话助手，如基于图像的智能客服
- 视觉内容审核与自动描述，提升内容管理效率
- 辅助视觉障碍人士的图像理解应用
替代项目
LLaVA、Qwen-VL、CogVLM
项目介绍
同类项目推荐
Machine-Learning
开源
跟着博客笔记，边看边跑机器学习代码
All content related to machine learning from my blog
awesome-claude-fable-5-prompt-va···
开源
一站式掌握 Claude Fable 5 玩法，快速选型不踩坑
Ultimate Claude Fable 5 Guide 2026: Use Cases, Integrations & Benchmarks
Diffusion-Models-Papers-Survey-T···
开源
学视频生成怕绕路？这份资料库帮你理清
Diffusion model papers, survey, and taxonomy
CoreML-Models
开源
下载即用的苹果端 AI 模型库，免去转换烦恼
Core ML model zoo for iOS/macOS — PyTorch models converted to ready-to-use .mlpacka···