awesome-vlm-architectures

一张图看懂155+视觉语言模型架构,快速选型不迷路

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 57 🐛 待处理 2 👀 关注 16
GitHub ↗
GitHub 星标 ★ 1364
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,完全免费,无付费版本。

项目预览

awesome-vlm-architectures 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队gokayfem
定价模式🏷️完全免费
价格说明开源项目,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议CC0-1.0
主要语言Markdown
技术栈/模型ai-agents,architecture-diagrams,arxiv,awesome,awesome-list,computer-vision,deep-learning,foundation-models,large-multimodal-models,mllm,model-architecture,multimodal,multimodal-ai,multimodal-llm,natural-language-processing,release-timeline,research-papers,transformers,vision-language-models,vlm
GitHub 星标★ 1364
上线时间2024-02-15 00:00:00
代码更新2026-10-27
仓库体积69.7 MB
本站数据更新2026-11-10
维护状态较活跃
收录时间2026-08-09
浏览次数5

项目介绍

这是一个精心整理的视觉语言模型(VLM/MLLM)架构目录,收录了155+个相关模型,涵盖论文、架构图、训练配方、数据集以及发布时间线。项目以可视化的方式呈现多模态AI智能体的发展脉络,帮助研究者、工程师和学生快速了解VLM领域的关键模型、技术演进和资源。它解决了VLM领域信息分散、难以系统比较的问题,通过结构化分类和图表,让用户能够高效检索和对比不同架构的特点。核心能力包括:提供清晰的模型分类、直观的架构图、详细的训练细节和数据集信息,以及按时间顺序排列的发布历史,便于追踪技术趋势。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1364

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:入门 约 5 分钟 部署方式:本地安装 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 能访问 GitHub 的网络环境
  • 已安装 Git(用于克隆仓库)
  • 任意可阅读 Markdown 的工具或浏览器

安装与启动步骤

  1. 1克隆仓库到本地

    把整个目录仓库下载到本地,之后可离线浏览全部模型条目,仓库体积小、无需编译。

    git clone https://github.com/gokayfem/awesome-vlm-architectures.git
  2. 2进入仓库目录

    切换到克隆下来的仓库文件夹,后续所有阅读操作都在该目录内进行。

    cd awesome-vlm-architectures
  3. 3阅读目录与模型列表

    打开 README.md,从 Contents 进入 Models 章节,展开任意模型面板可看架构摘要与原始论文链接。

  4. 4查时间线与架构图

    查看 Release Timeline 章节追踪模型发布时间(README 称已核验至 2026 年 7 月),Architectures 章节汇总架构图。

如何确认成功

本地目录中出现 README.md,且其中能展开 Models、Release Timeline、Architectures 等章节即为可用。

常见问题

Q:需要安装 Python 或任何依赖吗?

A:不需要。该仓库是纯 Markdown 文档目录,不包含可运行代码,克隆后直接用编辑器或浏览器阅读即可。

Q:如何引用这个目录?

A:README 提供 Citation 章节给出引用方式;同时对具体模型的结论,还应回到条目中链接的原始论文一并引用。

Q:怎么追踪多模态模型的技术演进?

A:查看 Release Timeline 章节,按时间顺序浏览模型发布记录,README 称时间线已核验覆盖至 2026 年 7 月。

Q:想在图形界面里直接试用视觉语言模型怎么办?

A:README 指向作者另一个仓库 ComfyUI_VLM_nodes(https://github.com/gokayfem/ComfyUI_VLM_nodes),可在 ComfyUI 中体验 VLM。

注意事项

  • 本仓库是 citation-first 的资料目录,只做整理与链接,不提供模型权重或推理代码。
  • README 标注最后审阅时间为 2026 年 8 月 1 日,条目可能随后续更新而变化。
  • 条目中提到的 155+ 模型数量与分类以 README 实际内容为准。

核心亮点

  • 收录155+个VLM模型,覆盖面广,从经典到最新一网打尽
  • 每个模型配有架构图,直观对比不同设计思路
  • 提供训练配方和数据集信息,便于复现和实验

不足之处

  • 项目为Markdown文档,交互性有限,不如网页浏览方便
  • 文档/社区待观察,更新频率和社区活跃度需持续关注

适用场景

  • 研究者调研VLM技术路线,快速了解领域全貌
  • 工程师选型多模态模型,对比架构和训练资源
  • 学生学习VLM入门,通过架构图理解核心概念

替代项目

Awesome-VLM、Awesome-Multimodal-Large-Language-Models、VLM-Survey

上一篇:lag-llama

下一篇:tabicl

同类项目推荐

Awesome-LLM-KG 开源

一页看懂LLM与知识图谱融合的所有关键论文

Awesome papers about unifying LLMs and KGs

★ 2620 2026-08-09
TokenFormer 开源

把参数变成 token,让 Transformer 按需扩展,省钱又灵活

[ICLR2025 Spotlight] Official Implementation of TokenFormer: Rethinking Transformer ···

★ 597 2026-08-09
MiniMax-01 开源

线性注意力大模型,超长上下文轻松跑

The official repo of MiniMax-Text-01 and MiniMax-VL-01, large-language-model & visio···

★ 3469 2026-08-09
ViP-LLaVA 开源

用点、框、涂鸦任意指,模型就能看懂你指的地方

[CVPR2024] ViP-LLaVA: Making Large Multimodal Models Understand Arbitrary Visual Pro···

★ 338 2026-08-09
llm-resource 开源

一页看全 LLM 全栈好资源,找工具不再大海捞针

LLM全栈优质资源汇总

★ 728 2026-08-09
magvit2-pytorch 开源

把视频变成离散token,为视频生成打基础

Implementation of MagViT2 Tokenizer in Pytorch

★ 669 2026-08-09
hello-claw 开源

从零搭建你的第一个AI助手,像领养龙虾一样简单有趣

哈喽!龙虾 ‍♀️ Adopt from scratch and build your first claw 来领养你的第一只龙虾···

★ 2218 2026-08-09
StarWhisper 开源

用自然语言指挥望远镜,让天文观测像聊天一样简单

Astronomy LLMs, StarWhisper Telescope, Virtual Sitian, and astronomy research skills

★ 331 2026-08-09