VideoGLaMM

让AI看懂视频里每个像素，指哪打哪精准分割

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 5 🐛 待处理 9 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 106
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源模型，可自行部署，完全免费。

项目预览

VideoGLaMM 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队mbzuai-oryx
官网地址https://mbzuai-oryx.github.io/VideoGLaMM
GitHubhttps://github.com/mbzuai-oryx/VideoGLaMM
定价模式🏷️完全免费
价格说明开源模型，可自行部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型cvpr2025,foundation-models,llm-agent,lmm,vision-and-language,vision-language-model
GitHub 星标★ 106
上线时间2024-10-31 00:00:00
代码更新2026-09-05
仓库体积41.0 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数8

项目介绍

VideoGLaMM 是一个面向视频像素级视觉定位的大型多模态模型，由南洋理工大学等机构在 CVPR 2025 发表。它解决的是视频中细粒度对象理解与定位问题，能够根据文本描述在视频帧中生成精确的像素级掩码，同时支持视频对话和时空推理。其核心能力包括：像素级视频理解（将文本查询与视频中的具体对象或区域关联）、视频对话（基于视频内容进行多轮问答）、以及时空定位（跨帧跟踪并分割目标对象）。模型采用三阶段训练策略，结合了大规模图像-文本数据和视频-文本数据，实现了对视频中动态对象的精准追踪与分割。项目提供了完整的训练和推理代码，支持自定义数据集微调，为视频理解、视频编辑、机器人交互等应用提供了强大的基础模型。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 106

核心亮点

  • 首个支持视频像素级视觉定位的多模态模型，能生成精确掩码而非粗糙框
  • 三阶段训练策略有效结合图像与视频数据，提升时空理解能力
  • 提供完整训练/推理代码和预训练模型，便于二次开发

不足之处

  • 项目处于早期，星标仅104，社区生态和文档待完善
  • 视频像素级定位对算力要求高，推理速度可能较慢

适用场景

  • 视频编辑：自动分割并替换视频中的目标对象
  • 视频问答：根据自然语言查询定位视频中的具体物体
  • 机器人交互：让机器人理解视频场景并精准抓取目标

替代项目

GLaMM、VideoLISA、SEEM

上一篇：BlackVIP

下一篇：Lexicon3D

同类项目推荐

tokenize-anything 开源

一个模型，提示任意视觉概念，统一分割与识别

[ECCV 2024] Tokenize Anything via Prompting

★ 602 2026-08-09
lidar_obstacle_detector 开源

单核10毫秒，把激光点云变成带轨迹的障碍物

Real-time 3D LiDAR obstacle detection, tracking & trajectory prediction for ROS 1 / ···

★ 419 2026-10-25
gen-cv 开源

用自然语言搞定视觉任务，快速搭建生成式视觉应用

Vision AI Solution Accelerator

★ 434 2026-08-09
vesselFM 开源

一个模型搞定各类三维血管分割，跨模态直接上手

A foundation model for universal 3D blood vessel segmentation. Paper accepted @ CVPR···

★ 179 2026-08-09
obsidian-text-extractor 开源

图片PDF一键变可搜索文字，笔记整理效率翻倍

A (companion) plugin to facilitate the extraction of text from images (OCR) and PDFs···

★ 651 2026-09-19
PolarFormer 开源

用极坐标 Transformer 做多相机 3D 检测

[AAAI 2023] PolarFormer: Multi-camera 3D Object Detection with Polar Transformers

★ 176 2026-10-28
oximedia 开源

用纯 Rust 一站式搞定音视频与视觉处理，安全无专利负担

OxiMedia is the Sovereign Media Framework - A patent-free, memory-safe multimedia pr···

★ 268 2026-09-18
AdaRefSR 开源

一张参考图，单步扩散，超分又快又真

AdaRefSR is a novel reference-based one-step diffusion super-resolution framework. P···

★ 73 2026-08-09
FasterViT 开源

让视觉 Transformer 又快又准，高分辨率图像处理利器

[ICLR 2024] Official PyTorch implementation of FasterViT: Fast Vision Transformers w···

★ 928 2026-08-09