magvit2-pytorch
把视频变成离散token，为视频生成打基础
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 669
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.9+
- PyTorch 2.x
- GPU 更佳
安装与启动步骤
-
1安装
视频与图像的分词器实现，pip 装即可。
pip install magvit2-pytorch -
2了解用途
它是生成模型的底层分词器，不直接产图，用于训练与评测。
-
3跑编码解码
用示例输入验证重建质量，看压缩率与保真度的平衡。
-
4接进自己的训练
作为 VQ 层替换原分词器，注意码本大小对齐。
如何确认成功
编码解码后重建结果与输入接近
注意事项
- 分词器质量直接决定生成模型上限，别随意换码本。
- 视频输入对显存要求高，先用短片段。
核心亮点
- 完整实现MagViT2核心架构，包括FSQ量化器
- 支持视频重建和帧间压缩，可直接用于训练
- 代码结构清晰，基于PyTorch，易于二次开发
不足之处
- 文档/社区待观察
- 非官方实现，可能缺少原版某些细节优化
适用场景
- 视频生成模型的tokenizer预训练
- 视频压缩与重建研究
- 跨模态视频理解的特征提取
替代项目
VideoGPT、TATS、CogVideo
同类项目推荐
CMLM-ZhongJing
开源
让中医智慧对话，专病专方一键问诊。
首个中医大语言模型——“仲景”。受古代中医学巨匠张仲景深邃智慧启迪，专为传统中医领域···
Consistency_LLM
开源
让大模型并行吐字，推理速度翻倍
[ICML 2024] CLLMs: Consistency Large Language Models
Me-LLaMA
开源
让通用大模型变身医学专家，医疗任务效果拉满
A novel medical large language model family with 13/70B parameters, which have SOTA ···
MiniMax-M1
开源
开源混合注意力推理模型，长序列推理更快更准
MiniMax-M1, the world's first open-weight, large-scale hybrid-attention reasoning mo···
MOSS
开源
复旦开源中文对话模型，接上工具就能用
An open-source, tool-augmented conversational language model from Fudan University
ChatLM-mini-Chinese
开源
0.2B小模型跑通中文对话全流程，从数据到RLHF一步到位
中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训···
understand-prompt
开源
一份笔记，带你玩转Stable Diffusion、ChatGPT和Copilot
【 内含不适合未成年人阅读的图片】基于我擅长的编程、绘画、写作展开的 AI 探索和总结：S···
unified-generative-zoo
开源
一个库跑通扩散、GAN、3D生成，对比实验省心省力
[ICCV 2023] https://arxiv.org/abs/2210.05559
LLaVA-Mini
开源
一个模型搞定图像视频理解，又快又省资源
LLaVA-Mini is a unified large multimodal model (LMM) that can support the understand···