muse-maskgit-pytorch

用掩码Transformer并行生成图像，速度远超扩散模型

Muse-MaskGit-PyTorch 是 Google 提出的 Muse 文本生成图像模型的非官方 PyTorch 实现。Muse 采用掩码生成式 Transformer（Masked Generative Transformers）架构，通过离散视觉令牌（VQGAN 编码）和双向 Transformer 并行预测被掩码的令牌，实现高效的文本到图像生成。该项目解决了传统自回归扩散模型生成速度慢的问题，将图像生成过程转化为并行解码任务，大幅缩短推理时间。核心能力包括：基于预训练 VQGAN 的离散令牌表示、文本条件注入、掩码调度策略（如随机、余弦）以及迭代并行解码。代码结构清晰，支持自定义训练和推理，适合研究掩码生成范式或作为高效图像生成基线。尽管是早期项目，但提供了完整的模型定义和训练流程，便于二次开发。