VLM3

让视觉语言模型直接看懂3D世界，无需额外编码器

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 17 🐛 待处理 1 👀 关注 18
GitHub ↗
GitHub 星标 ★ 441
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，无在线服务，需自行部署，完全免费。

项目预览

VLM3 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队facebookresearch
GitHubhttps://github.com/facebookresearch/VLM3
定价模式🏷️完全免费
价格说明开源项目，无在线服务，需自行部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议NOASSERTION
主要语言Jupyter Notebook
技术栈/模型3d-foundation-model,camera-pose-estimation,depth-estimation,image-matching,large-language-models,object-level-3d,vlms
GitHub 星标★ 441
上线时间2026-05-08 00:00:00
代码更新2026-09-24
仓库体积26.6 MB
本站数据更新2026-11-10
维护状态维护中
收录时间2026-08-09
浏览次数7

项目介绍

VLM3 是论文“VLM³: Vision Language Models Are Native 3D Learners”的官方实现，旨在让视觉语言模型（VLM）原生具备3D理解能力。传统VLM通常将3D场景渲染为2D图像或依赖外部3D编码器，导致空间信息丢失或推理延迟。VLM3通过将3D点云直接输入模型，并采用多视图特征对齐和3D位置编码，使模型在推理时无需额外3D模块即可理解空间关系。项目提供完整的训练和推理代码，支持从2D预训练权重迁移到3D任务，在3D视觉问答、具身导航等任务上表现优异。核心能力包括：原生3D输入处理、多模态对齐训练、以及零样本3D推理。该模型解决了VLM在3D场景中空间感知不足的问题，为机器人、AR/VR等应用提供更高效的3D理解方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 441

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 65 分钟 部署方式：本地GPU 4 步

环境要求

  • 多卡 NVIDIA GPU
  • 大规模 3D 数据集

安装与启动步骤

  1. 1拉仓库装依赖

    研究代码，依赖按官方说明装。

  2. 2准备 3D 数据

    它需要带多视角图像与点云的场景数据。

  3. 3跑评测确认基线

    先用官方给的评测脚本复现论文数字。

  4. 4再试自己的数据

    换数据要按它的格式整理，否则读不进去。

如何确认成功

在官方评测集上跑出的分数与论文报告值差距在合理范围内，换自己的场景后仍能给出合理的空间判断

注意事项

  • 它证明标准视觉语言模型本身就具备三维理解能力，不需要额外架构改造。
  • 数据准备是最大成本，多视角采集与标定要求高。
  • 研究代码，训练脚本与推理脚本的依赖分开装。
  • 结论依赖数据分布，室内场景的方法搬到室外要重新验证。

核心亮点

  • 原生3D点云输入，避免2D渲染信息丢失
  • 支持从2D预训练权重高效迁移，降低训练成本
  • 在3D VQA和具身导航任务上表现优于传统方法

不足之处

  • 文档/社区待观察
  • 依赖特定3D数据集，泛化性待验证

适用场景

  • 3D视觉问答与场景理解
  • 具身智能机器人导航
  • AR/VR交互中的空间感知

替代项目

LLaVA、Point-BERT、3D-LLM

上一篇：awesome-deep-learning-resource

下一篇：Awesome-LLM-Resources-List

同类项目推荐

magikarp 开源

复现论文新方法，快速验证模型训练技巧

Code for the paper "Fishing for Magikarp"

★ 191 2026-08-09
Machine-Learning 开源

跟着博客笔记，边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
awesome-llm-os 开源

一网打尽大模型操作系统资源，快速跟上前沿趋势

A curated list of awesome resources, tools, research papers, and projects related to···

★ 166 2026-08-09
Monet 开源

让 Transformer 每个专家只懂一件事，可解释性拉满

[ICLR 2025] Monet: Mixture of Monosemantic Experts for Transformers

★ 79 2026-08-09
ModelsGenesis 开源

用未标注医学影像预训练，让下游任务模型更准更稳

[MICCAI 2019 Young Scientist Award] [MedIA Best Paper Award] Models Genesis: self-su···

★ 795 2026-08-09
Awesome-VLA 开源

一网打尽视觉-语言-动作模型前沿进展

✨✨latest advancements in VLA models(VIsion Language Action)

★ 130 2026-08-09
Bootstrap3D 开源

用合成数据训练多视图扩散模型，让 3D 生成更稳更准

[ICCV-2025] Official implementation of Bootstrap3D: Improving Multi-view Diffusion M···

★ 94 2026-08-09
awesome-snn 开源

找SNN开源项目，看这个清单就够了

A collection of some awesome public SNN(Spiking Neural Network) projects.

★ 241 2026-08-09