gansformer

用 Transformer 注意力机制生成全局协调的场景图像

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署图像生成 🍴 复刻 152 🐛 待处理 15 👀 关注 36

GitHub ↗

GitHub 星标 ★ 1344

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类图像生成

开发团队dorarad

GitHubhttps://github.com/dorarad/gansformer

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型attention,compositionality,gans,generative-adversarial-networks,image-generation,scene-generation,transformers

GitHub 星标★ 1344

上线时间2021-03-01 00:00:00

代码更新2022-06-14

仓库体积742 KB

本站数据更新2026-11-08

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

Gansformer 是一个将 Transformer 架构引入生成对抗网络（GAN）的图像生成模型，旨在解决传统 CNN 生成器在捕捉全局结构和多物体场景组合性方面的局限。它通过引入双向注意力机制，让生成器能够建模图像各部分之间的长距离依赖关系，从而生成具有更清晰全局布局和更合理物体交互的场景图像。项目提供了基于 PyTorch 的实现，包含训练、评估和预训练模型，支持在多个数据集（如 CLEVR、LSUN）上进行场景生成和图像合成。核心能力包括：基于注意力的生成器设计、改进的判别器架构、以及用于提升组合泛化能力的训练策略。该模型特别适用于需要精细控制物体属性和空间关系的合成任务，为图像生成领域提供了一种新的架构选择。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1344

技术标签

attention gans image-generation scene-generation transformers

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级约 30 分钟部署方式：本地安装 5 步

环境要求

支持 CUDA 的 NVIDIA GPU，并已安装 NVCC（CUDA 编译器）
Python 环境（仓库同时提供 TensorFlow 主目录版与 pytorch_version 版）
CUDA 与 PyTorch/TensorFlow 版本需匹配
生成示例需联网下载预训练模型（gdrive 快照）

安装与启动步骤

1克隆仓库

把 GANformer 源码拉到本地并进入项目根目录，根目录是 TensorFlow 版实现。
```
git clone https://github.com/dorarad/gansformer.git
cd gansformer
```
2配置 CUDA 环境变量

模型依赖 NVCC 即时编译自定义算子，需把 CUDA 的 bin 与 lib64 加入环境变量（示例为 cuda-10.0）。
```
export PATH=/usr/local/cuda-10.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda10.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
```
3验证 NVCC 可用

运行仓库自带的测试文件，若同时打印 CPU 与 GPU 的 hello 说明 NVCC 工作正常。
```
nvcc test_nvcc.cu -o test_nvcc -run
```
4安装依赖

若要使用 PyTorch 版，进入 pytorch_version 目录并安装其 requirements.txt 中的依赖。
```
cd pytorch_version
pip install -r requirements.txt
```
5生成图像

运行最小示例，自动下载预训练模型并在输出目录生成图片；PyTorch 版对应 pytorch_version/generate.py。
```
python generate.py --gpus 0 --model gdrive:bedrooms-snapshot.pkl --output-dir images --images-num 32
```

关键配置

配置项	必填	说明	示例
`--gpus`	否	指定使用的 GPU 编号	`0`
`--model`	是	预训练模型快照路径或 gdrive 标识	`gdrive:bedrooms-snapshot.pkl`
`--output-dir`	否	生成图像的保存目录	`images`
`--images-num`	否	一次生成的图像数量	`32`
`--truncation-psi`	否	控制生成图像质量与多样性的权衡	`0.8`
`CUDA_HOME`	否	PyTorch 版编译 CUDA 内核时指定匹配的 CUDA 路径	`/usr/local/cuda-10.1`