DALLE2-pytorch

环境要求

• 已安装 Python 与 pip（README 使用 pip 安装）
• 建议具备 NVIDIA GPU 与 CUDA 环境（README 示例代码使用 .cuda()）
• 需自备训练数据与算力，README 只给出训练流程，未提供预训练权重或数据集下载
• 训练 CLIP 阶段建议配合 x-clip 或 open_clip 等社区复现项目

安装与启动步骤

1. 1安装本库

   使用 pip 安装 dalle2-pytorch，这是 README 中唯一给出的安装命令；建议在独立虚拟环境中执行以免污染全局环境。

   pip install dalle2-pytorch

   复制

2. 2安装 CLIP 依赖

   README 说明本仓库以 x-clip 为例演示集成，训练三步流程中最关键的是 CLIP，可先安装 x-clip 作为文本/图像编码器。

   pip install x-clip

   复制

3. 3验证可导入

   导入 README 中演示的 CLIP 类，能正常导入即说明包安装成功；若报错请检查 Python 与 pip 是否对应同一环境。

   python -c "from dalle2_pytorch import CLIP; print('ok')"

   复制

4. 4按三步流程训练

   README 指出训练分三步：先训 CLIP，再训 prior 网络，最后训扩散解码器；本仓库只实现了 diffusion prior 变体，需自行准备数据与算力。

关键配置

如何确认成功

运行 python -c "from dalle2_pytorch import CLIP"，无报错即安装成功；训练是否有效需观察 CLIP 与 prior 的 loss 变化。

常见问题

注意事项

• 本项目是非官方复现，README 声明其自 2022/5/23 起已不是 SOTA，新项目建议参考 Imagen 架构实现。
• 本仓库仅构建 diffusion prior 变体，未提供自回归 prior 实现。
• README 未给出预训练权重下载地址、端口或服务启动方式，任何此类命令都不要自行添加。
• 示例代码片段在 README 中出现重复（DiffusionPriorNetwork 定义多次），实际使用时只保留一份即可。