项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1002
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Linux 或支持 Conda 的环境,需带 GPU
- CUDA 11 与 CuDNN 8.6(JAX 要求)
- 已安装 Conda(使用 environment.yaml 方式时)
- 已安装 Python 与 pip(使用 requirements.txt 方式时)
安装与启动步骤
-
1克隆仓库
从 GitHub 拉取 MAGVIT 官方代码,后续所有安装命令都在仓库根目录执行。
git clone https://github.com/google-research/magvit.git cd magvit -
2创建 Conda 环境
README 提供 environment.yaml 用于 GPU 环境,自动安装 JAX 等全部依赖。
conda env create -f environment.yaml -
3激活环境
创建完成后激活 magvit 环境,之后运行代码均需处于该环境。
conda activate magvit -
4或改用 pip 安装
不想用 Conda 时可改为 pip 安装依赖,需自行保证 CUDA 11 / CuDNN 8.6 环境就绪。
pip install -r requirements.txt
如何确认成功
在激活的 magvit 环境中执行 conda list 或 pip list,确认依赖已安装且无报错即成功。
常见问题
Q:安装时 JAX 报 CUDA/CuDNN 相关错误怎么办?
A:README 要求 CUDA 11 与 CuDNN 8.6,且官方测试过 NVIDIA GPU-Optimized VMI 镜像,建议在该镜像或匹配版本的 GPU 环境中安装。
Q:Conda 和 pip 两种安装方式该选哪个?
A:README 提供两种方式,官方推荐用 environment.yaml 创建 Conda 环境;不用 Conda 时可执行 pip install -r requirements.txt 安装依赖。
Q:使用预训练模型有什么限制?
A:README 说明 checkpoint 基于公开数据集训练,部分数据集含非商用等限制,使用前需自行查看第三方条款;且该项目非 Google 官方支持产品。
注意事项
- 项目非 Google 官方支持产品,仅供研究使用。
- 预训练 checkpoint 依赖的公开数据集可能有非商用等使用限制。
- 未在 README 中找到训练/推理命令与端口配置,需自行参考仓库内其他文档。
核心亮点
- 官方 JAX 实现,性能与论文一致,适合直接复现实验结果
- 支持多种视频生成任务(预测、补全、插值),功能全面
- 基于掩码建模,生成速度比自回归模型更快,质量更高
不足之处
- JAX 生态相对小众,对 PyTorch 用户不友好
- 依赖特定 TPU/GPU 环境,部署门槛较高
- 文档和社区支持待观察
适用场景
- 视频预测:根据已有帧生成未来帧,用于自动驾驶或监控
- 视频编辑:补全或插值视频帧,用于后期制作
- 研究实验:作为视频生成基线,对比新模型效果
替代项目
VideoGPT、CogVideo、NUWA
同类项目推荐
RefAlign
开源
让视频生成严格跟随参考图,身份不跑偏
[ECCV 2026] Official PyTorch implementation of RefAlign: Representation Alignment fo···
MikuDance
开源
上传一张角色图,轻松生成自然流畅的动画视频
MikuDance: Animating Character Art with Mixed Motion Dynamics
FlashVideo
开源
高效生成高分辨率视频,先整体后细节,省算力不省画质
[AAAI-2026]FlashVideo: Flowing Fidelity to Detail for Efficient High-Resolution Vide···
ArcReel
开源
小说丢进去,角色场景分镜全就绪
AI Agent 驱动的开源可自部署视频工作台:将小说与剧本转为角色、场景、道具资产、分镜、视···
frametell
开源
丢想法和素材,AI 导演自动剪出讲解视频
Frametell: turn your ideas and material into vivid explainer videos with an AI direc···
claude-animated-shorts
开源
一句话让 Claude 生成 2D 角色 3D 场景动画短片
Free Claude skill: viral animated story shorts (2D characters in a 3D world) with th···
short-video-maker
开源
长视频一键切高光加字幕配音,免费无水印出竖屏短片
A free open-source project designed to turn youtube-videos into viral short videos. ···
OnlyShot
开源
一句话生成完整短剧,五步直达红果抖音
OnlyShot · 神仙鱼 AI 短剧工业流水线 Claude Skill — 一句话 → 剧本/分镜/分镜图/视频···
cosmos-transfer2.5
开源
用多个空间条件精准控制视频生成,打造可控世界模拟。
Cosmos-Transfer2.5, built on top of Cosmos-Predict2.5, produces high-quality world s···
