vision-aided-gan

用现成视觉模型增强 GAN 训练，生成更逼真图像

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 图像生成 🍴 复刻 32 🐛 待处理 6 👀 关注 13
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 422
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，需自行部署。

项目预览

vision-aided-gan 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类图像生成
开发团队nupurkmr9
官网地址https://www.cs.cmu.edu/~vision-aided-gan
GitHubhttps://github.com/nupurkmr9/vision-aided-gan
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，需自行部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型computer-graphics,computer-vision,gans,generative-adversarial-network,image-generation,pretrained-models,pytorch
GitHub 星标★ 422
上线时间2021-12-17 00:00:00
代码更新2022-09-09
仓库体积56.8 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

vision-aided-gan 是一个 CVPR 2022 Oral 论文的开源实现，核心思想是利用现成的预训练模型（如 CLIP、DINO 等）来辅助 GAN 的训练，从而提升生成图像的质量和多样性。它解决了传统 GAN 在训练时依赖单一判别器、容易模式崩溃和训练不稳定的问题，通过引入多个预训练视觉模型作为辅助监督信号，为生成器提供更丰富的语义和结构指导。项目基于 PyTorch 实现，支持多种 GAN 架构（如 StyleGAN2），并提供了训练和评估的完整代码。其核心能力包括：多模型集成辅助训练、无需额外标注数据、显著提升 FID 等生成指标。适合研究者和开发者用于探索更鲁棒的 GAN 训练方法。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 422

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 60 分钟 部署方式：本地GPU 5 步

环境要求

  • NVIDIA GPU
  • 图像数据集
  • PyTorch

安装与启动步骤

  1. 1拉仓库

    论文官方实现，判断预训练视觉模型能否帮助生成模型训练。

  2. 2建环境装依赖

    按仓库说明装，注意 torch 与视觉模型库版本。

  3. 3准备数据

    它用标准图像数据集，按说明放到指定目录。

  4. 4跑一次训练对比

    同配置下开与不开视觉监督各跑一轮。

  5. 5看指标而不是看图

    用论文给的指标比较，别凭肉眼挑。

如何确认成功

在相同步数下，启用视觉模型监督的一侧在指定指标上稳定优于基线，而不是某一轮偶然领先

注意事项

  • 它研究的是用现成视觉模型的知识来约束生成模型训练，属于方法验证。
  • 需要同时加载多个预训练模型，显存占用高。
  • 结论依赖所选视觉模型，换模型要重做对比。
  • 研究代码，训练脚本参数要按本机改。
  • 评测指标与人类观感常有差距，两者都要看。

核心亮点

  • 集成 CLIP/DINO 等预训练模型，提供丰富语义监督，提升生成质量
  • CVPR 2022 Oral 论文，方法经过学术验证，理论扎实
  • 基于 PyTorch，代码结构清晰，易于复现和扩展

不足之处

  • 依赖多个预训练模型，训练资源消耗较大
  • 文档/社区待观察

适用场景

  • 学术研究：探索 GAN 训练新方法，对比不同辅助模型的效果
  • 图像生成任务：需要高质量、高多样性的生成结果，如艺术创作、数据增强
  • 模型鲁棒性提升：在复杂数据集上训练更稳定的 GAN

替代项目

StyleGAN2、BigGAN、Projected GAN

上一篇：blur-diffusion

下一篇：outpainting_srn

同类项目推荐

stable-diffusion-webui-Layer-Div··· 开源

一键把 AI 生成的图拆成多个独立图层，方便局部编辑和合成。

Layer-Divider, an extension for stable-diffusion-webui using the segment-anything mo···

★ 184 2026-08-09
Image-MetaHub 开源

本地管理AI生成图，一键回传ComfyUI复现

Local-first AI image organizer and generative media library manager for ComfyUI, A11···

★ 335 2026-08-09
travel-photo-abstraction 开源

把旅行照片一键变成极简抽象艺术，编辑感十足。

A source-available Codex skill for distilling photographs into sparse editorial abst···

★ 799 2026-08-09
photo-revival 开源

把日常照片一键变成诗意手绘插图，文艺感拉满

Codex skill for turning everyday photos into poetic white-paper hand-drawn illustrat···

★ 607 2026-08-09
dreambooth-tutorial 开源

用几张照片，训练专属 AI 模型，生成你自己的图像

Crie imagens suas usando IA de forma fácil

★ 227 2026-08-09
lecam-gan 开源

小样本也能训练出高质量 GAN，稳定不崩

Regularizing Generative Adversarial Networks under Limited Data (CVPR 2021)

★ 166 2026-08-09
time-diffusion 开源

精准修正扩散模型隐含偏见，无需重训，一句话改变生成假设。

Official code repo for "Editing Implicit Assumptions in Text-to-Image Diffusion Mode···

★ 89 2026-08-09