Infinity

环境要求

• torch>=2.5.1（FlexAttention 加速训练的要求）
• 已安装 Python 与 pip3，用于执行 pip3 install -r requirements.txt
• 支持 CUDA 的 NVIDIA GPU，docker run 需使用 --gpus all
• 可访问 Hugging Face 的网络，用于下载 FoundationVision/infinity 与 google/flan-t5-xl 权重

安装与启动步骤

1. 1获取项目代码

   把 Infinity 仓库克隆到本地，后续命令需在项目根目录（含 requirements.txt 与 Dockerfile）执行。

   git clone https://github.com/FoundationVision/Infinity.git

   复制

2. 2安装 Python 依赖

   在项目根目录按 README 要求安装依赖清单，建议使用虚拟环境避免污染系统环境。

   pip3 install -r requirements.txt

   复制

3. 3确认 PyTorch 版本

   FlexAttention 加速要求 torch>=2.5.1，先检查版本，不满足需先升级 torch。

   python -c "import torch; print(torch.__version__)"

   复制

4. 4下载 flan-t5-xl

   用 transformers 自动下载 flan-t5-xl 到 ~/.cache/huggingface，另需从 Hugging Face 下载 FoundationVision/infinity 的 vae 与 transformers

   from transformers import T5Tokenizer, T5ForConditionalGeneration
   tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-xl")
   model = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl")

   复制

5. 5构建 Docker 镜像

   在项目根目录用 README 提供的 Dockerfile 构建镜像，需保证本机可访问 Docker 与网络。

   docker build -t my-flash-attn-env .

   复制

6. 6启动 Docker 容器

   以 --gpus all 启动容器并把本地目录挂载到 /workspace，注意把 /your/path 换成你的实际本地路径。

   docker run --gpus all -it --name my-container -v /your/path:/workspace my-flash-attn-env

   复制

7. 7运行推理脚本

   容器内执行复现脚本生成图像，如需自定义提示词可先修改 reproduce.py 中的 prompt。

   python Infinity/tools/reproduce.py

   复制

关键配置

如何确认成功

容器内执行 python Infinity/tools/reproduce.py 能正常跑完并输出生成图像、无报错，即部署成功。

常见问题

注意事项

• Docker 方式按 README 说明仅用于推理复现，不含训练。
• docker run 使用了 --gpus all，机器需具备可用的 NVIDIA GPU 与容器 GPU 支持。
• 权重来自 Hugging Face（FoundationVision/infinity 及 google/flan-t5-xl），网络不佳时需耐心等待或提前准备缓存。
• 安装依赖与构建镜像均需在克隆下来的项目根目录中执行。