Prism

环境要求

• Python 3.10 或更高版本
• CUDA 12.4 或更高版本的 GPU 环境
• 系统级安装 ffmpeg
• 可编译安装 flash-attn 的构建环境（含 CUDA 工具链）

安装与启动步骤

1. 1检查基础环境

   确认 python 版本不低于 3.10、CUDA 不低于 12.4，并已具备系统级 ffmpeg，否则后续依赖会安装失败。

   python --version
   nvcc --version
   ffmpeg -version

   复制

2. 2安装 PyTorch

   按 README 指定从 CUDA 12.4 官方源安装 torch、torchvision、torchaudio 三个固定版本。

   pip install torch==2.7.1 torchvision==0.22.1 torchaudio==2.7.1 --index-url https://download.pytorch.org/whl/cu124

   复制

3. 3安装核心依赖

   在项目根目录执行，安装 requirements.txt 中列出的 diffusers、transformers、triton 等依赖。

   pip install -r requirements.txt

   复制

4. 4安装 FlashAttention

   需在本机 CUDA 环境编译，必须加 --no-build-isolation，否则会因隔离环境找不到 torch 而失败。

   pip install flash-attn --no-build-isolation

   复制

5. 5安装 ffmpeg

   音视频读写依赖系统级 ffmpeg，用 apt 安装；非 Debian 系请用对应包管理器。

   sudo apt-get install ffmpeg

   复制

6. 6验证安装

   导入全部关键库并打印版本号，用于确认依赖齐全、CUDA 相关包可正常加载。

   python -c "
   import torch, diffusers, transformers, flash_attn, triton
   from audiotools import AudioSignal
   from decord import VideoReader
   print(f'torch          {torch.__version__}')
   print(f'diffusers      {diffusers.__version__}')
   print(f'transformers   {transformers.__version__}')
   print(f'flash_attn     {flash_attn.__version__}')
   print(f'triton         {triton.__version__}')
   print('All imports OK ✅')"

   复制

7. 7多节点批量安装

   仅多机集群需要：用 pdsh 把关键包并行装到各节点，节点列表由环境变量提供。

   export node_ip=$(echo ${NODE_IP_LIST} | sed 's/:8//g')
   pdsh -f 256 -w $node_ip "pip install ipdb yunchang mmengine"
   pdsh -f 256 -w $node_ip "pip uninstall diffusers -y && pip install diffusers==0.33.0"
   pdsh -f 256 -w $node_ip "pip install descript-audiotools"
   pdsh -f 256 -w $node_ip "pip install imageio[ffmpeg] imageio[pyav]"
   pdsh -f 256 -w $node_ip "pip install decord"
   pdsh -f 256 -w $node_ip "pip install flash-attn --no-build-isolation"

   复制

关键配置

如何确认成功

执行验证命令后，终端依次打印 torch、diffusers、transformers、flash_attn、triton 版本号，并输出 All imports OK ✅。

常见问题

注意事项

• README 只提供环境安装部分，未给出推理与训练启动命令，实际运行请以官方仓库和模型页面说明为准。
• flash-attn 编译耗时较长，建议先装好与 CUDA 匹配的 PyTorch 再执行。
• 多节点批量安装脚本会改动各节点的 diffusers 版本，请在集群环境中确认影响范围后再执行。
• 2K 原生训练显存开销大，请提前评估单卡或多卡资源。