Attend-and-Excite

让扩散模型生成时不再漏画主体,提升图文一致性

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 62 🐛 待处理 8 👀 关注 13
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 772
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署使用。

项目预览

Attend-and-Excite 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队yuval-alaluf
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型diffusion-models,stable-diffusion,text-to-image
GitHub 星标★ 772
上线时间2023-01-30 00:00:00
代码更新2024-01-26
仓库体积105.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

Attend-and-Excite 是 SIGGRAPH 2023 论文的官方实现,针对文本到图像扩散模型(如 Stable Diffusion)在生成时忽略提示词中某些主体(尤其是多个主体)的问题,提出基于注意力机制的语义引导方法。它通过优化生成过程中的交叉注意力图,确保每个主体词都被激活并得到充分表达,从而提升生成图像与文本描述的一致性,尤其在多物体、复杂场景下效果显著。核心能力包括:自动识别被忽略的 token、在去噪过程中迭代调整潜在表示、支持与现有扩散模型无缝集成。项目提供 Jupyter Notebook 演示,便于直观体验和二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 772

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 40 分钟 部署方式:本地安装 4 步

环境要求

  • NVIDIA GPU 12G+
  • Python 3.9+

安装与启动步骤

  1. 1克隆

    通过干预交叉注意力,让每个主体都被画出来。

    git clone https://github.com/yuval-alaluf/Attend-and-Excite.git
    cd Attend-and-Excite
  2. 2建环境

    官方脚本会建 conda 环境。

    bash scripts/setup_env.sh
  3. 3下权重

    需要 Stable Diffusion 底座。

    bash scripts/download_models.sh
  4. 4跑提示词

    多主体提示词是它的用武之地。

    python run.py --prompt "a cat and a dog on a sofa"

如何确认成功

同时出现猫和狗,而不是只剩其中一个。

注意事项

  • 它解决的是「多主体漏画」这个老大难问题。
  • 提示词里主体数量超过三个效果会下降。
  • 生成时间比普通采样长,因为每步都要引导。
  • 现在很多新模型已内置类似机制,先对比再决定是否用它。

核心亮点

  • 基于注意力引导,能有效解决多主体生成时漏画或错画的问题
  • 官方实现,算法严谨,有 SIGGRAPH 论文背书
  • 提供交互式 Notebook,上手体验直观

不足之处

  • 实现依赖特定扩散模型版本,迁移到其他模型需适配
  • 文档和社区支持相对有限,需自行阅读论文理解细节

适用场景

  • 多物体图像生成,如“一只猫和一只狗”
  • 需要精确控制生成内容与文本描述一致的场景
  • 扩散模型生成质量优化研究

替代项目

Composable Diffusion、Stable Diffusion Attention Control、Prompt-to-Prompt

上一篇:text2art

下一篇:awesome-text-to-image-studies

同类项目推荐

jimeng-api 开源

调用即梦AI绘图API,快速集成文生图/图生图能力

Reverse-engineered the official API for Jimeng/Dreamina’s text-to-image and image-t···

★ 1039 2026-08-09
DeTikZify 开源

上传图表或草图,秒变可编译的TikZ矢量代码。

Synthesizing Graphics Programs for Scientific Figures and Sketches with TikZ.

★ 1828 2026-08-09
diffusion-client 开源

在手机上轻松调用 Stable Diffusion 生成图像

a powerful stable-diffusion-webui client for android

★ 256 2026-08-09
nova-image-studio 开源

自托管多模式AI图像工作台,手机平板也能轻松出图

自托管的 AI 视频/图像生成工作台 · 自定义模型 · 多模式 · PWA · 实时任务 支持Agent···

★ 492 2026-08-09
rampensau 开源

用色相循环和缓动函数,几行代码生成和谐调色板

Color palette generation function using hue cycling and simple easing functions.

★ 321 2026-08-09
comfyui-colab 开源

在浏览器里免费跑 ComfyUI,快速出图不折腾显卡

comfyui colabs templates new nodes

★ 551 2026-08-09
Vec2Face 开源

用松散向量一键生成海量多样人脸数据集,省时省力

This is the official implementation of "Vec2Face: Scaling Face Dataset Generation wi···

★ 93 2026-08-09
ReVersion 开源

从几张图提取关系,用提示词生成新场景

[SIGGRAPH Asia 2024] ReVersion: Diffusion-Based Relation Inversion from Images

★ 502 2026-08-09
token-art-tools 开源

用滑块调参,自动生成图像并导出数据,轻松分析生成艺术概率。

Static web application for generative artists to explore creative concepts via mappa···

★ 72 2026-08-09