video-diffusion-pytorch

环境要求

• 已安装 Python 与 pip 环境
• 已安装 PyTorch（示例代码中 import torch）
• 如需复现论文实验，需要较大算力（README 说明实验资源由 Stability.ai 提供）

安装与启动步骤

1. 1安装依赖包

   README 只给出一条安装命令，直接在终端执行即可，无需克隆仓库。

   pip install video-diffusion-pytorch

   复制

2. 2验证包可导入

   确认 Unet3D 与 GaussianDiffusion 能正常导入，避免装到了错误的 Python 环境。

   python -c "from video_diffusion_pytorch import Unet3D, GaussianDiffusion; print('ok')"

   复制

3. 3编写示例脚本

   按 README 的 Usage 片段写入 demo.py：建 3D UNet 与扩散对象，随机生成一段视频张量。

   cat > demo.py <<'EOF'
   import torch
   from video_diffusion_pytorch import Unet3D, GaussianDiffusion
   
   model = Unet3D(
       dim = 64,
       dim_mults = (1, 2, 4, 8)
   )
   
   diffusion = GaussianDiffusion(
       model,
       image_size = 32,
       num_frames = 5,
       timesteps = 1000,   # number of steps
       loss_type = 'l1'    # L1 or L2
   )
   
   videos = torch.randn(1, 3, 5, 32, 32) # (batch, channels, frames, height, width)，取值归一化到 -1 到 +1
   loss = diffusion(videos)
   print(loss)
   loss.backward()
   EOF

   复制

4. 4运行示例

   执行脚本，首次运行会下载/初始化依赖并做一次前向与反向传播，CPU 上会较慢。

   python demo.py

   复制

关键配置

如何确认成功

运行 python demo.py 不报错并能打印出 loss 数值，说明前向与反向传播均正常。

常见问题

注意事项

• README 未提供训练/推理命令行脚本，使用方式以 Python API 为主。
• 项目状态标注为 WIP（进行中），完整复现需要较大算力。
• 文本到视频的后续研究已迁移到 imagen-pytorch 仓库，README 建议前往查看。