VLM3

让视觉语言模型直接看懂3D世界，无需额外编码器

VLM3 是论文“VLM³: Vision Language Models Are Native 3D Learners”的官方实现，旨在让视觉语言模型（VLM）原生具备3D理解能力。传统VLM通常将3D场景渲染为2D图像或依赖外部3D编码器，导致空间信息丢失或推理延迟。VLM3通过将3D点云直接输入模型，并采用多视图特征对齐和3D位置编码，使模型在推理时无需额外3D模块即可理解空间关系。项目提供完整的训练和推理代码，支持从2D预训练权重迁移到3D任务，在3D视觉问答、具身导航等任务上表现优异。核心能力包括：原生3D输入处理、多模态对齐训练、以及零样本3D推理。该模型解决了VLM在3D场景中空间感知不足的问题，为机器人、AR/VR等应用提供更高效的3D理解方案。