Groma

让多模态模型精准指认图像中的每个区域，实现细粒度视觉定位。

Groma 是一个基于多模态大语言模型（MLLM）的视觉定位模型，核心创新在于“局部视觉标记化”（Localized Visual Tokenization）。它通过将图像中的区域级特征编码为离散的视觉标记，使模型能够精准地理解并引用图像中的具体区域，从而完成细粒度的视觉定位任务。Groma 解决了传统多模态模型在区域级理解上的不足，即模型能描述图像整体但难以精确指代局部对象。其核心能力包括：区域级视觉理解、基于文本指令的目标检测与分割、以及多模态对话中的视觉引用。该模型在 ECCV 2024 发表，提供了完整的训练和推理代码，并支持自定义数据微调，适合研究人员和开发者用于构建具备精细视觉定位能力的多模态应用。