LLM-groundedDiffusion

让AI画图听懂复杂指令,布局精准不乱画

开源 🏷️定价信息待确认 ✅ 目前可打开 图像生成 🍴 复刻 35 🐛 待处理 12 👀 关注 12
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 486
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

LLM-groundedDiffusion 项目界面预览图
图片来源:项目官网

项目数据

分类图像生成
开发团队TonyLianLong
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
主要语言Python
技术栈/模型image-generation,llm,stable-diffusion,stable-diffusion-webui,text-to-image
GitHub 星标★ 486
上线时间2023-06-09 00:00:00
代码更新2024-09-09
仓库体积274 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

LLM-grounded Diffusion(LMD)是一个增强文本到图像扩散模型提示理解能力的开源项目,发表于TMLR 2024。它针对Stable Diffusion等模型在复杂提示词下经常忽略对象属性、空间关系等问题,引入大型语言模型(LLM)作为“提示理解器”,将用户输入的自然语言提示分解为结构化的场景描述,包括对象、属性、空间位置和关系,并生成对应的布局(bounding boxes)。随后,这些布局被转化为控制信号(如区域注意力图),引导扩散模型在生成图像时严格遵循布局,从而显著提升生成图像与复杂提示的一致性。项目提供完整的训练和推理代码,并集成到Stable Diffusion WebUI中,方便用户直接使用。核心能力包括:基于LLM的提示解析与布局生成、布局到图像的区域控制生成、以及支持多种扩散模型后端。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 486

使用教程

难度:高级 约 60 分钟 部署方式:本地GPU 5 步

环境要求

  • CUDA 显卡
  • Python 3.9+
  • 模型凭据

安装与启动步骤

  1. 1装依赖

    按清单装。

    pip install -r requirements.txt
  2. 2配模型凭据

    它要调用语言模型做提示改写。

  3. 3生成提示

    先跑演示类型的批量提示生成。

    python prompt_batch.py --prompt-type demo --model gpt-4 --auto-query --always-save --template_version v0.1
  4. 4跑评测

    按官方脚本评第一阶段。

    python scripts/eval_stage_one.py --prompt-type lmd --model gpt-3.5 --template_version v0.1
  5. 5对照布局准确度

    重点看物体位置是否落在指定框内。

如何确认成功

给定一组带布局框的描述,生成图里各物体的实际位置与指定框的重合度明显高于无布局基线

注意事项

  • 它用语言模型把布局描述转成扩散模型能用的提示,从而控制物体位置。
  • 分两阶段:先出提示,再评布局准确度。
  • 布局控制的评价看实际位置与目标框的重合,不看整体观感。
  • 依赖语言模型接口,跑批量会产生费用。

核心亮点

  • 通过LLM分解复杂提示为对象布局,显著提升属性绑定和空间关系准确性
  • 已集成到Stable Diffusion WebUI,安装即用,降低使用门槛
  • 提供完整训练代码和预训练模型,支持自定义扩展

不足之处

  • 依赖额外LLM推理,增加生成延迟和计算开销
  • 文档和社区支持相对有限,早期项目示例较少

适用场景

  • 需要精确控制图像中物体位置和属性的创意设计
  • 生成符合复杂场景描述(如'红球在蓝方块左边')的示意图
  • 作为Stable Diffusion WebUI插件提升提示词理解能力

替代项目

ControlNet、GLIGEN、LayoutGPT

上一篇:Awesome-Controllable-Diffusion

下一篇:StyleShot

同类项目推荐

Stable-Diffusion-Desktop-Client 开源

用 Delphi 打造的跨平台 AI 绘图桌面工具,开箱即用

Stable Diffusion Desktop client for Windows, macOS, and Linux built in Embarcadero D···

★ 75 2026-08-09
glitch-art 开源

写几行 SCSS,一键生成赛博朋克故障艺术图

gradient glitch art generator

★ 70 2026-08-09
piggyback-color 开源

用文本提示给黑白照片智能上色,效果自然可控

Improved Diffusion-based Image Colorization via Piggybacked Models

★ 71 2026-08-09
pixelgpt-24x24 开源

本地30分钟训练,一句话生成24x24像素画

Tiny local text-to-24x24 pixel art model, trained on roughly 200K samples in 30 minu···

★ 103 2026-08-09
comfyui-lumi-batcher 开源

一次批量跑多组参数,工作流调试效率翻倍

ComfyUI Lumi Batcher is a batch processing extension plugin designed for ComfyUI, ai···

★ 653 2026-10-30
ControlVAR 开源

用自回归扩散模型,精准控制图像生成细节

This is the official implementation for ControlVAR.

★ 127 2026-08-09
dynamicprompts 开源

用模板批量生成多样化提示词,告别手写重复

Templating language for generating prompts for text to image generators such as Stab···

★ 167 2026-09-17
image-generator-using-openai-api 开源

输入描述,秒出 AI 图片,零门槛体验 DALL-E。

This is a simple image generator using OpenAI API. you can generate images by enteri···

★ 55 2026-08-09
ComfyUI-Moss-Image-Edit 开源

在ComfyUI里用文字加参考图直接改图

Edit images in ComfyUI with text instructions and up to four reference images.

★ 111 2026-11-07