Groma

让多模态模型精准指认图像中的每个区域，实现细粒度视觉定位。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 44 🐛 待处理 17 👀 关注 25
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 587
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型，Apache-2.0许可证，完全免费，可自行部署使用。

项目预览

Groma 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队FoundationVision
官网地址https://groma-mllm.github.io
GitHubhttps://github.com/FoundationVision/Groma
定价模式🏷️完全免费
价格说明开源模型，Apache-2.0许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型foundation-models,grounding,large-language-models,llama,llama2,llm,mllm,multimodal,vision-language-model
GitHub 星标★ 587
上线时间2024-04-21 00:00:00
代码更新2024-06-07
仓库体积13.8 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

Groma 是一个基于多模态大语言模型（MLLM）的视觉定位模型，核心创新在于“局部视觉标记化”（Localized Visual Tokenization）。它通过将图像中的区域级特征编码为离散的视觉标记，使模型能够精准地理解并引用图像中的具体区域，从而完成细粒度的视觉定位任务。Groma 解决了传统多模态模型在区域级理解上的不足，即模型能描述图像整体但难以精确指代局部对象。其核心能力包括：区域级视觉理解、基于文本指令的目标检测与分割、以及多模态对话中的视觉引用。该模型在 ECCV 2024 发表，提供了完整的训练和推理代码，并支持自定义数据微调，适合研究人员和开发者用于构建具备精细视觉定位能力的多模态应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 587

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 90 分钟 部署方式：本地GPU 5 步

环境要求

  • NVIDIA 显卡
  • Python 环境
  • 模型权重

安装与启动步骤

  1. 1先看它测什么

    它关注的是模型能不能把图里的区域指出来并给出描述。

  2. 2建环境

    按仓库清单装依赖，注意框架版本。

    pip install -r requirements.txt

  3. 3下模型权重

    按说明放好路径，多个规模可选。

  4. 4准备评测数据

    格式按仓库说明准备，标注要能对应到区域。

  5. 5跑评测

    先小样本验证流程，再放开跑全量。

如何确认成功

在小样本上跑完一轮评测并拿到可读的分数表，指标口径与仓库给的基准一致

注意事项

  • 这是评测基准的实现，不是可直接用的识别模型。
  • 分数受提示词与解码参数影响，改动后不可直接横比。
  • 全量跑一次成本不低，先用子集调通。
  • 结论要看多指标，单看总分容易误判。

核心亮点

  • 创新局部视觉标记化，显著提升区域级理解精度
  • 支持文本指令驱动的目标检测与分割，交互直观
  • 代码开源，提供训练和推理脚本，易于复现和扩展

不足之处

  • 项目较新，社区生态和文档尚待完善
  • 模型体积较大，推理资源要求较高

适用场景

  • 多模态对话中需要精确指代图像对象的场景
  • 自动化图像标注和视觉问答系统
  • 机器人视觉导航中的目标定位

替代项目

Shikra、Ferret、GPT4RoI

上一篇：tokenize-anything

下一篇：Remote-Sensing-RVSA

同类项目推荐

DTrOCR 开源

用纯解码器 Transformer 直接生成文字，简化 OCR 识别流程

A PyTorch implementation of DTrOCR: Decoder-only Transformer for Optical Character R···

★ 205 2026-09-19
UniAct 开源

统一机器人动作表示，让具身模型跨场景即学即用

[CVPR 2025] The offical Implementation of "Universal Actions for Enhanced Embodied F···

★ 245 2026-08-09
GPT4Point 开源

让AI看懂3D点云，听懂人话，直接生成和编辑3D模型。

[CVPR'24 Highlight] GPT4Point: A Unified Framework for Point-Language Understanding ···

★ 445 2026-08-09
sam3.cpp 开源

把 SAM3 分割模型塞进 C++，无需 Python 即可跑图像和视频

Fast state-of-the-art image and video segmentation in portable C/C++

★ 379 2026-10-15
light-ocr 开源

本地离线 OCR，图片转文字带坐标，硬件加速快

Fast, offline OCR for Node.js & C++. PP-OCRv6 with Core ML / WebGPU hardware acceler···

★ 658 2026-09-29
pdf-ocr-obsidian 开源

PDF 秒变 Obsidian 可用的 Markdown 笔记

Convert your PDFs into Markdown files easily with Mistral OCR Software

★ 347 2026-09-19
CC-Pan 开源

用扩散模型高效融合遥感图像，全色锐化又快又准

[TMM 2026] Official implementation for "CC-Pan: Channel-wise Compression based Diffu···

★ 156 2026-08-09