LLM-groundedDiffusion

让AI画图听懂复杂指令，布局精准不乱画

LLM-grounded Diffusion（LMD）是一个增强文本到图像扩散模型提示理解能力的开源项目，发表于TMLR 2024。它针对Stable Diffusion等模型在复杂提示词下经常忽略对象属性、空间关系等问题，引入大型语言模型（LLM）作为“提示理解器”，将用户输入的自然语言提示分解为结构化的场景描述，包括对象、属性、空间位置和关系，并生成对应的布局（bounding boxes）。随后，这些布局被转化为控制信号（如区域注意力图），引导扩散模型在生成图像时严格遵循布局，从而显著提升生成图像与复杂提示的一致性。项目提供完整的训练和推理代码，并集成到Stable Diffusion WebUI中，方便用户直接使用。核心能力包括：基于LLM的提示解析与布局生成、布局到图像的区域控制生成、以及支持多种扩散模型后端。