VLM-Grounder

零样本 3D 定位，用自然语言直接找到目标物体

VLM-Grounder 是一个面向零样本 3D 视觉定位的智能体框架，基于视觉语言模型（VLM）实现。它解决了传统 3D 视觉定位依赖大量标注数据和预训练检测器的问题，能够在无需额外训练的情况下，通过自然语言描述在 3D 场景中定位目标物体。核心能力包括：利用 VLM 的开放世界理解能力，将 2D 视觉信息与 3D 场景几何结合，通过多视角推理和空间关系分析，逐步缩小搜索范围并输出目标物体的 3D 边界框。该框架采用模块化设计，支持多种 VLM 后端，并提供了与 3D 场景数据集（如 ScanNet）的交互接口。其创新点在于将大语言模型的推理能力扩展到 3D 空间理解，为机器人导航、增强现实等应用提供零样本定位解决方案。