VQGAN-CLIP

环境要求

• Ubuntu 20.04（README 测试环境），需具备 NVIDIA 显卡
• 显存要求：380x380 约 8GB、512x512 约 10GB、900x900 约 24GB
• 已安装 Anaconda，用于创建 Python 3.9 虚拟环境
• 需从 GitHub 克隆 CLIP 与 taming-transformers 两个依赖仓库，并下载至少 1 个 VQGAN 预训练模型

安装与启动步骤

1. 1创建 conda 环境

   使用 Anaconda 创建名为 vqgan 的虚拟环境，Python 版本指定 3.9，与 README 测试环境一致。

   conda create --name vqgan python=3.9

   复制

2. 2激活环境

   后续所有安装和运行命令都要在激活后的 vqgan 环境中执行。

   conda activate vqgan

   复制

3. 3安装 PyTorch

   安装 CUDA 版 PyTorch 及 torchvision、torchaudio。若使用 AMD 显卡，请阅读 README 中的 AMD 章节，勿直接执行此命令。

   pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

   复制

4. 4安装其余依赖

   安装 README 列出的其余 Python 包，setuptools 固定为 59.5.0。也可改用仓库的 requirements.txt（含版本号）。

   pip install ftfy regex tqdm omegaconf pytorch-lightning IPython kornia imageio imageio-ffmpeg einops torch_optimizer setuptools==59.5.0

   复制

5. 5克隆仓库与依赖

   克隆 VQGAN-CLIP 主仓库，并在其目录内继续克隆 OpenAI 的 CLIP 与 CompVis 的 taming-transformers。

   git clone 'https://github.com/nerdyrodent/VQGAN-CLIP'
   cd VQGAN-CLIP
   git clone 'https://github.com/openai/CLIP'
   git clone 'https://github.com/CompVis/taming-transformers'

   复制

6. 6下载 VQGAN 模型

   至少需要一个 VQGAN 预训练模型，默认放在 checkpoints 目录下。也可用仓库的 download_models.sh 脚本下载（默认只下一个）。Windows 下 curl 需用双引号。

   mkdir checkpoints
   curl -L -o checkpoints/vqgan_imagenet_f16_16384.yaml -C - 'https://heibox.uni-heidelberg.de/d/a7530b09fed84f80a887/files/?p=%2Fconfigs%2Fmodel.yaml&dl=1'
   curl -L -o checkpoints/vqgan_imagenet_f16_16384.ckpt -C - 'https://heibox.uni-heidelberg.de/d/a7530b09fed84f80a887/files/?p=%2Fckpts%2Flast.ckpt&dl=1'

   复制

7. 7生成图像

   用 -p 指定文本提示词运行 generate.py，即可在本地生成图像。具体参数（步数、学习率、尺寸等）可用 -h 查看脚本帮助。

   python generate.py -p "A painting of an apple in a fruit bowl"

   复制

关键配置

如何确认成功

python generate.py 成功执行且不报错，并在输出目录生成与提示词对应的图像文件，即为成功。

常见问题

注意事项

• README 在 Ubuntu 20.04 + Nvidia RTX 3090 上测试通过，其他环境可能需自行调整
• CLIP 与 taming-transformers 被克隆到主仓库目录内，未列入 requirements.txt 或 vqgan.yml
• 需预先准备至少 1 个 VQGAN 预训练模型，可参考 CompVis/taming-transformers 的预训练模型说明
• README 提供 Linux 与 Windows 的视频教程链接，遇到问题可参考