magvit

用掩码 Transformer 高效生成高质量视频,支持预测、补全和插值。

MAGVIT 是 Google 发布的视频生成模型,基于掩码生成式视频 Transformer 架构,官方提供 JAX 实现。它解决的核心问题是高效、高质量的视频生成,特别是在视频预测、补全和插值等任务上。MAGVIT 采用 tokenization 和掩码建模策略,将视频压缩为离散 token,再通过 Transformer 学习生成,支持条件生成和无条件生成。其关键能力包括:视频帧预测、视频补全(inpainting)、视频插值(interpolation),以及文本条件视频生成。模型在 Kinetics-600 等基准上展示了领先的性能,同时具备良好的扩展性。项目代码结构清晰,包含训练和推理脚本,适合研究者和工程师复现和二次开发。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1001
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队google-research
所属国家
定价模式free
价格说明开源项目,Apache-2.0许可证,可自由使用,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型generative-model,transformers,video-generation
GitHub 星标★ 1001
30天Star增速
HF 下载量
上线时间2022-12-01 00:00:00
最近更新2026-09-03 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 4 步

环境要求

  • Linux 或支持 Conda 的环境,需带 GPU
  • CUDA 11 与 CuDNN 8.6(JAX 要求)
  • 已安装 Conda(使用 environment.yaml 方式时)
  • 已安装 Python 与 pip(使用 requirements.txt 方式时)

安装与启动步骤

  1. 1克隆仓库

    从 GitHub 拉取 MAGVIT 官方代码,后续所有安装命令都在仓库根目录执行。

    git clone https://github.com/google-research/magvit.git
    cd magvit
  2. 2创建 Conda 环境

    README 提供 environment.yaml 用于 GPU 环境,自动安装 JAX 等全部依赖。

    conda env create -f environment.yaml
  3. 3激活环境

    创建完成后激活 magvit 环境,之后运行代码均需处于该环境。

    conda activate magvit
  4. 4或改用 pip 安装

    不想用 Conda 时可改为 pip 安装依赖,需自行保证 CUDA 11 / CuDNN 8.6 环境就绪。

    pip install -r requirements.txt

如何确认成功

在激活的 magvit 环境中执行 conda list 或 pip list,确认依赖已安装且无报错即成功。

常见问题

Q:安装时 JAX 报 CUDA/CuDNN 相关错误怎么办?

A:README 要求 CUDA 11 与 CuDNN 8.6,且官方测试过 NVIDIA GPU-Optimized VMI 镜像,建议在该镜像或匹配版本的 GPU 环境中安装。

Q:Conda 和 pip 两种安装方式该选哪个?

A:README 提供两种方式,官方推荐用 environment.yaml 创建 Conda 环境;不用 Conda 时可执行 pip install -r requirements.txt 安装依赖。

Q:使用预训练模型有什么限制?

A:README 说明 checkpoint 基于公开数据集训练,部分数据集含非商用等限制,使用前需自行查看第三方条款;且该项目非 Google 官方支持产品。

注意事项

  • 项目非 Google 官方支持产品,仅供研究使用。
  • 预训练 checkpoint 依赖的公开数据集可能有非商用等使用限制。
  • 未在 README 中找到训练/推理命令与端口配置,需自行参考仓库内其他文档。

核心亮点

  • 官方 JAX 实现,性能与论文一致,适合直接复现实验结果
  • 支持多种视频生成任务(预测、补全、插值),功能全面
  • 基于掩码建模,生成速度比自回归模型更快,质量更高

不足之处

  • JAX 生态相对小众,对 PyTorch 用户不友好
  • 依赖特定 TPU/GPU 环境,部署门槛较高
  • 文档和社区支持待观察

适用场景

  • 视频预测:根据已有帧生成未来帧,用于自动驾驶或监控
  • 视频编辑:补全或插值视频帧,用于后期制作
  • 研究实验:作为视频生成基线,对比新模型效果

替代项目

VideoGPT、CogVideo、NUWA

项目介绍

magvit 是视频领域的开源项目,由 google-research 开发,2022 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(1,001)位列前 30%,在视频分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-03。Apache-2.0许可证,可自由使用,无付费版本。

它主要面向的使用场景是:视频预测:根据已有帧生成未来帧,用于自动驾驶或监控。同类可对比的替代方案包括 VideoGPT、CogVideo、NUWA。

上一篇:AI-Infinite-Zoom-Generator

下一篇:videocomposer

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
MagicDance 开源

一张图+任意动作,生成身份不变的逼真人物视频

[ICML 2024] MagicPose(also known as MagicDance): Realistic Human Poses and Facial Ex···

★ 777 2026-08-09