RPG-DiffusionMaster

用多模态大模型把复杂提示词变成高质量图像，还能对话式编辑

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署图像生成 🍴 复刻 100 🐛 待处理 45 👀 关注 21

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1845

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

RPG-DiffusionMaster 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类图像生成

开发团队YangLing0818

官网地址https://proceedings.mlr.press/v235/yang24ai.html

GitHubhttps://github.com/YangLing0818/RPG-DiffusionMaster

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Jupyter Notebook

技术栈/模型image-editting,large-language-models,multimodal-large-language-models,text-to-image

GitHub 星标★ 1845

上线时间2024-01-22 00:00:00

代码更新2025-02-01

仓库体积65.8 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数6

项目介绍

RPG-DiffusionMaster 是一个基于多模态大语言模型（MLLM）的文本到图像生成与编辑框架，发表于 ICML 2024。它解决传统扩散模型在复杂提示词下生成质量差、多对象关系混乱的问题。核心能力包括：利用 MLLM 将复杂提示词重写为多个子提示词，规划生成布局，并通过区域级扩散生成高保真图像。支持多轮对话式图像编辑，无需额外训练即可适配现有扩散模型。项目提供完整代码、推理脚本和示例，便于研究者复现和二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1845

技术标签

large-language-models multimodal-large-language-models text-to-image

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 30 分钟部署方式：库/依赖 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python + Jupyter Notebook 运行环境（项目开发语言为 Jupyter Notebook）
需安装 diffusers 库（Quick Start 要修改其中部分函数）
基础扩散模型权重：SD v1.4 / v1.5 / v2.0 / v2.1
约 8GB 显存的显卡即可跑通 Quick Start notebook

安装与启动步骤

1克隆官方仓库

从 GitHub 拉取 RPG-DiffusionMaster 源码，后续 notebook 与示例都基于该仓库。
```
git clone https://github.com/YangLing0818/RPG-DiffusionMaster.git
```
2准备运行环境

README 未给出 pip/conda 安装命令，需自行准备可运行 Jupyter Notebook 的 Python 环境并安装 diffusers。
3准备基础模型

按 README 说明选用 SD v1.4、v1.5、v2.0、v2.1 等 base diffusion model，提前下载或配置好权重。
4打开 Quick Start

打开仓库内的 Example_Notebook（RegionalDiffusion_playground.ipynb），该示例把图像等分为两个子区域。
5小幅修改 diffusers

按 README 提示对 diffusers 库中部分函数做少量改动，以实现区域级扩散生成。
6运行并生成图像

在 notebook 中按单元格顺序执行，可在 8GB 显存显卡上得到区域划分的生成结果。