magvit

用掩码 Transformer 高效生成高质量视频,支持预测、补全和插值。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 48 🐛 待处理 21 ⚠️ 作者已归档(停止维护)
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1002
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可自由使用,无付费版本。

项目预览

magvit 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队google-research
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可自由使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型generative-model,transformers,video-generation
GitHub 星标★ 1002
上线时间2022-12-01 00:00:00
代码更新2024-01-17
仓库体积148 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

MAGVIT 是 Google 发布的视频生成模型,基于掩码生成式视频 Transformer 架构,官方提供 JAX 实现。它解决的核心问题是高效、高质量的视频生成,特别是在视频预测、补全和插值等任务上。MAGVIT 采用 tokenization 和掩码建模策略,将视频压缩为离散 token,再通过 Transformer 学习生成,支持条件生成和无条件生成。其关键能力包括:视频帧预测、视频补全(inpainting)、视频插值(interpolation),以及文本条件视频生成。模型在 Kinetics-600 等基准上展示了领先的性能,同时具备良好的扩展性。项目代码结构清晰,包含训练和推理脚本,适合研究者和工程师复现和二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1002

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 4 步

环境要求

  • Linux 或支持 Conda 的环境,需带 GPU
  • CUDA 11 与 CuDNN 8.6(JAX 要求)
  • 已安装 Conda(使用 environment.yaml 方式时)
  • 已安装 Python 与 pip(使用 requirements.txt 方式时)

安装与启动步骤

  1. 1克隆仓库

    从 GitHub 拉取 MAGVIT 官方代码,后续所有安装命令都在仓库根目录执行。

    git clone https://github.com/google-research/magvit.git
    cd magvit
  2. 2创建 Conda 环境

    README 提供 environment.yaml 用于 GPU 环境,自动安装 JAX 等全部依赖。

    conda env create -f environment.yaml
  3. 3激活环境

    创建完成后激活 magvit 环境,之后运行代码均需处于该环境。

    conda activate magvit
  4. 4或改用 pip 安装

    不想用 Conda 时可改为 pip 安装依赖,需自行保证 CUDA 11 / CuDNN 8.6 环境就绪。

    pip install -r requirements.txt

如何确认成功

在激活的 magvit 环境中执行 conda list 或 pip list,确认依赖已安装且无报错即成功。

常见问题

Q:安装时 JAX 报 CUDA/CuDNN 相关错误怎么办?

A:README 要求 CUDA 11 与 CuDNN 8.6,且官方测试过 NVIDIA GPU-Optimized VMI 镜像,建议在该镜像或匹配版本的 GPU 环境中安装。

Q:Conda 和 pip 两种安装方式该选哪个?

A:README 提供两种方式,官方推荐用 environment.yaml 创建 Conda 环境;不用 Conda 时可执行 pip install -r requirements.txt 安装依赖。

Q:使用预训练模型有什么限制?

A:README 说明 checkpoint 基于公开数据集训练,部分数据集含非商用等限制,使用前需自行查看第三方条款;且该项目非 Google 官方支持产品。

注意事项

  • 项目非 Google 官方支持产品,仅供研究使用。
  • 预训练 checkpoint 依赖的公开数据集可能有非商用等使用限制。
  • 未在 README 中找到训练/推理命令与端口配置,需自行参考仓库内其他文档。

核心亮点

  • 官方 JAX 实现,性能与论文一致,适合直接复现实验结果
  • 支持多种视频生成任务(预测、补全、插值),功能全面
  • 基于掩码建模,生成速度比自回归模型更快,质量更高

不足之处

  • JAX 生态相对小众,对 PyTorch 用户不友好
  • 依赖特定 TPU/GPU 环境,部署门槛较高
  • 文档和社区支持待观察

适用场景

  • 视频预测:根据已有帧生成未来帧,用于自动驾驶或监控
  • 视频编辑:补全或插值视频帧,用于后期制作
  • 研究实验:作为视频生成基线,对比新模型效果

替代项目

VideoGPT、CogVideo、NUWA

上一篇:AI-Infinite-Zoom-Generator

下一篇:videocomposer

同类项目推荐

RefAlign 开源

让视频生成严格跟随参考图,身份不跑偏

[ECCV 2026] Official PyTorch implementation of RefAlign: Representation Alignment fo···

★ 340 2026-08-09
MikuDance 开源

上传一张角色图,轻松生成自然流畅的动画视频

MikuDance: Animating Character Art with Mixed Motion Dynamics

★ 186 2026-08-09
FlashVideo 开源

高效生成高分辨率视频,先整体后细节,省算力不省画质

[AAAI-2026]FlashVideo: Flowing Fidelity to Detail for Efficient High-Resolution Vide···

★ 488 2026-08-09
ArcReel 开源

小说丢进去,角色场景分镜全就绪

AI Agent 驱动的开源可自部署视频工作台:将小说与剧本转为角色、场景、道具资产、分镜、视···

★ 6351 2026-08-09
frametell 开源

丢想法和素材,AI 导演自动剪出讲解视频

Frametell: turn your ideas and material into vivid explainer videos with an AI direc···

★ 489 2026-10-21
claude-animated-shorts 开源

一句话让 Claude 生成 2D 角色 3D 场景动画短片

Free Claude skill: viral animated story shorts (2D characters in a 3D world) with th···

★ 2508 2026-11-06
short-video-maker 开源

长视频一键切高光加字幕配音,免费无水印出竖屏短片

A free open-source project designed to turn youtube-videos into viral short videos. ···

★ 631 2026-10-19
OnlyShot 开源

一句话生成完整短剧,五步直达红果抖音

OnlyShot · 神仙鱼 AI 短剧工业流水线 Claude Skill — 一句话 → 剧本/分镜/分镜图/视频···

★ 400 2026-08-09
cosmos-transfer2.5 开源

用多个空间条件精准控制视频生成,打造可控世界模拟。

Cosmos-Transfer2.5, built on top of Cosmos-Predict2.5, produces high-quality world s···

★ 762 2026-08-09