MovieChat

把整部电影装进模型，问啥答啥，长视频理解不再难。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 44 🐛 待处理 42 👀 关注 10

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 711

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，基于BSD-3-Clause许可证，可自由使用和部署，无付费版本。

项目预览

项目数据

分类开源模型

开发团队wenhaochai

官网地址https://rese1f.github.io/MovieChat

GitHubhttps://github.com/wenhaochai/MovieChat

定价模式🏷️完全免费

价格说明开源项目，基于BSD-3-Clause许可证，可自由使用和部署，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议BSD-3-Clause

主要语言Python

技术栈/模型computer-vision,dataset,large-language-models,llama,long-video-understanding,multimodal-large-language-models

GitHub 星标★ 711

上线时间2023-06-26 00:00:00

代码更新2025-01-29

仓库体积80.5 MB

本站数据更新2026-11-08

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

MovieChat 是一个面向长视频理解的开源模型，由 CVPR 2024 论文提出。它解决了现有视频理解模型难以处理超长视频（如电影）的问题，核心创新在于将视频的密集视觉 token 转化为稀疏记忆，从而在有限的计算资源下实现对长视频的全局语义理解和局部细节问答。模型采用自回归方式，能够对用户提出的关于视频内容的问题进行回答，支持多轮对话，并提供了完整的推理代码和演示。其核心能力包括长视频的时序理解、事件定位和内容摘要，特别适合电影、纪录片等长格式视频的分析。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 711

技术标签

computer-vision dataset large-language-models llama multimodal-large-language-models

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级约 60 分钟部署方式：本地安装 4 步

环境要求

CUDA 显卡（建议 24GB 显存）
PyTorch 与对应 CUDA 版本
视频样本文件

安装与启动步骤

1准备显卡环境

官方按 24GB 显存给出参考：能处理超过一万帧的长视频，显存不足要先降分辨率或分段。
```
nvidia-smi
```
2安装包

pip 安装后还需要单独下载模型权重，权重体积较大，注意磁盘余量。
```
pip install MovieChat
```
3加载权重

把权重放到约定的目录，代码里用相对路径引用，避免换机器时找不到。
4跑长视频推理

输入视频加问题，模型会按帧采样后给出回答；帧数越多内存占用越高。
```
python demo.py --video demo.mp4
```