paint-with-words-sd

用分割图+文字，精准控制AI画图布局

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 图像生成 🍴 复刻 47 🐛 待处理 15 👀 关注 21
GitHub ↗
GitHub 星标 ★ 643
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，需自行部署使用。

项目预览

paint-with-words-sd 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类图像生成
开发团队cloneofsimo
GitHubhttps://github.com/cloneofsimo/paint-with-words-sd
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，需自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型diffusion,generative-model,stable-diffusion
GitHub 星标★ 643
上线时间2022-11-06 00:00:00
代码更新2023-03-24
仓库体积42.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

这是一个基于Stable Diffusion的文本引导图像生成工具，实现了eDiff-I论文中的Paint-with-words方法。它允许用户通过文本标签化的分割图（segmentation map）来精确控制生成图像的布局和内容。用户可以为图像的不同区域指定文本标签，模型会根据这些标签和分割图生成符合描述的图像。核心能力包括：将语义分割图与文本描述结合，实现区域级别的图像生成控制；支持自定义分割图和文本标签，灵活生成特定场景；基于Stable Diffusion，生成质量高且可扩展。该工具解决了传统文本到图像生成中布局控制困难的问题，让用户能够更直观地指定图像中每个物体的位置和属性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 643

使用教程

难度：高级 约 90 分钟 部署方式：本地GPU 5 步

环境要求

  • GPU 12G 显存以上
  • SD 权重
  • CUDA 环境

安装与启动步骤

  1. 1从 git 装

    它不在 PyPI，必须从仓库装，装的时候要带 git 前缀。

    pip install git+https://github.com/cloneofsimo/paint-with-words-sd.git

  2. 2准备模型权重

    默认用 SD 系列权重，格式要转成它的扩散格式。

    python change_model_path.py --checkpoint_path custom_model.ckpt --dump_path custom_model_diffusion_format

  3. 3起作图界面

    gradio 界面里可以给每个词分配颜色，颜色对应的位置就是该词的作图区域。

    python gradio_pww.py

  4. 4试局部重绘

    只改画面某块时用重绘界面，比整图重生成保真得多。

    python gradio_pww_inpaint.py

  5. 5接控制网再增强

    官方另有控制网分支，想加姿态或边缘约束再装那个。

如何确认成功

给词分配不同颜色后，生成图里对应区域的内容与词义匹配

注意事项

  • 原理是调交叉注意力权重，不保证每次都对得准。
  • 颜色与词的映射是人为约定，颜色多了容易混。
  • 老项目，新版 diffusers 可能不兼容，建议锁旧版本。

核心亮点

  • 区域级文本控制，生成图像布局精准
  • 基于Stable Diffusion，生成质量高
  • 实现eDiff-I论文方法，学术价值高

不足之处

  • 文档/社区待观察
  • 依赖Jupyter Notebook，使用门槛较高

适用场景

  • 艺术创作，按布局生成插画
  • 设计稿快速原型，指定物体位置
  • 学术研究，探索可控图像生成

替代项目

ControlNet、Stable Diffusion with Semantic Map、GauGAN2

上一篇：SeeSR

下一篇：ComfyUI-IDM-VTON

同类项目推荐

stable-diffusion.cpp 开源

环境都不用配，一个文件直接本地出图

Diffusion model(SD,Flux,Wan,Qwen Image,Z-Image,...) inference in pure C/C++

★ 7936 2026-08-09
turbo-art 开源

用SDXL Turbo秒速出图，实时探索创意灵感

A playground for creative exploration that uses SDXL Turbo.

★ 240 2026-08-09
Promptvision 开源

本地画廊看 SD 图，新图自动出现，参数一目了然

Local viewer for Stable Diffusion generated images built with CustomTkinter. Gallery···

★ 81 2026-08-09
img2img-turbo 开源

单步搞定图像转换，草图变大片，白天转黑夜，快人一步

One-step image-to-image with Stable Diffusion turbo: sketch2image, day2night, and mo···

★ 2491 2026-08-09
SyncDiffusion 开源

让扩散模型生成无缝全景图，告别拼接痕迹

[NeurIPS 2023] Official implementation of SyncDiffusion

★ 169 2026-08-09
Paint-by-Example 开源

给张示例图，自动编辑图像，无需文字描述

Paint by Example: Exemplar-based Image Editing with Diffusion Models

★ 1254 2026-08-09
AI-Image-PromptGenerator 开源

一键生成创意提示词，让AI绘画灵感不断

A flexible UI script to help create and expand on prompts for generative AI art mode···

★ 245 2026-08-09
unprompted 开源

用模板语言写提示词，告别重复劳动，Stable Diffusion 工作流更灵活高效。

Templating language written for Stable Diffusion workflows. Available as an extensio···

★ 805 2026-08-09
MaskUnet 开源

掩码扩散模型参数，提升图像视频生成质量

[CVPR 2025] Official PyTorch implementation of Not All Parameters Matter: Masking Di···

★ 109 2026-08-09