
awesome-vlm-architectures
一张图看懂155+视觉语言模型架构,快速选型不迷路
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1364
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- 能访问 GitHub 的网络环境
- 已安装 Git(用于克隆仓库)
- 任意可阅读 Markdown 的工具或浏览器
安装与启动步骤
-
1克隆仓库到本地
把整个目录仓库下载到本地,之后可离线浏览全部模型条目,仓库体积小、无需编译。
git clone https://github.com/gokayfem/awesome-vlm-architectures.git -
2进入仓库目录
切换到克隆下来的仓库文件夹,后续所有阅读操作都在该目录内进行。
cd awesome-vlm-architectures -
3阅读目录与模型列表
打开 README.md,从 Contents 进入 Models 章节,展开任意模型面板可看架构摘要与原始论文链接。
-
4查时间线与架构图
查看 Release Timeline 章节追踪模型发布时间(README 称已核验至 2026 年 7 月),Architectures 章节汇总架构图。
如何确认成功
本地目录中出现 README.md,且其中能展开 Models、Release Timeline、Architectures 等章节即为可用。
常见问题
Q:需要安装 Python 或任何依赖吗?
A:不需要。该仓库是纯 Markdown 文档目录,不包含可运行代码,克隆后直接用编辑器或浏览器阅读即可。
Q:如何引用这个目录?
A:README 提供 Citation 章节给出引用方式;同时对具体模型的结论,还应回到条目中链接的原始论文一并引用。
Q:怎么追踪多模态模型的技术演进?
A:查看 Release Timeline 章节,按时间顺序浏览模型发布记录,README 称时间线已核验覆盖至 2026 年 7 月。
Q:想在图形界面里直接试用视觉语言模型怎么办?
A:README 指向作者另一个仓库 ComfyUI_VLM_nodes(https://github.com/gokayfem/ComfyUI_VLM_nodes),可在 ComfyUI 中体验 VLM。
注意事项
- 本仓库是 citation-first 的资料目录,只做整理与链接,不提供模型权重或推理代码。
- README 标注最后审阅时间为 2026 年 8 月 1 日,条目可能随后续更新而变化。
- 条目中提到的 155+ 模型数量与分类以 README 实际内容为准。
核心亮点
- 收录155+个VLM模型,覆盖面广,从经典到最新一网打尽
- 每个模型配有架构图,直观对比不同设计思路
- 提供训练配方和数据集信息,便于复现和实验
不足之处
- 项目为Markdown文档,交互性有限,不如网页浏览方便
- 文档/社区待观察,更新频率和社区活跃度需持续关注
适用场景
- 研究者调研VLM技术路线,快速了解领域全貌
- 工程师选型多模态模型,对比架构和训练资源
- 学生学习VLM入门,通过架构图理解核心概念
替代项目
Awesome-VLM、Awesome-Multimodal-Large-Language-Models、VLM-Survey
同类项目推荐
Awesome-LLM-KG
开源
一页看懂LLM与知识图谱融合的所有关键论文
Awesome papers about unifying LLMs and KGs
Qwen3.8-Flash-Next-Dual-DGX-Spar···
开源
双 DGX Spark 上跑 Qwen3.8-Flash-Next 的部署模板
Qwen3.8-Flash-Next-NVFP4-vLLM-Dual-DGX-Spark
TokenFormer
开源
把参数变成 token,让 Transformer 按需扩展,省钱又灵活
[ICLR2025 Spotlight] Official Implementation of TokenFormer: Rethinking Transformer ···
MiniMax-01
开源
线性注意力大模型,超长上下文轻松跑
The official repo of MiniMax-Text-01 and MiniMax-VL-01, large-language-model & visio···
ViP-LLaVA
开源
用点、框、涂鸦任意指,模型就能看懂你指的地方
[CVPR2024] ViP-LLaVA: Making Large Multimodal Models Understand Arbitrary Visual Pro···
llm-resource
开源
一页看全 LLM 全栈好资源,找工具不再大海捞针
LLM全栈优质资源汇总
magvit2-pytorch
开源
把视频变成离散token,为视频生成打基础
Implementation of MagViT2 Tokenizer in Pytorch
hello-claw
开源
从零搭建你的第一个AI助手,像领养龙虾一样简单有趣
哈喽!龙虾 ♀️ Adopt from scratch and build your first claw 来领养你的第一只龙虾···
StarWhisper
开源
用自然语言指挥望远镜,让天文观测像聊天一样简单
Astronomy LLMs, StarWhisper Telescope, Virtual Sitian, and astronomy research skills