Dreambooth-Stable-Diffusion

用几张照片,微调Stable Diffusion生成专属主体的新图像

Dreambooth-Stable-Diffusion 是 Dreambooth 论文的 Stable Diffusion 实现,旨在解决文本到图像模型中特定主体(如人脸、宠物或物品)的个性化生成问题。传统模型无法根据少量参考图生成同一主体的新场景图像,而该工具通过微调预训练的 Stable Diffusion 模型,使模型学会将唯一标识符与特定主体绑定,从而在保持主体特征一致性的同时,支持多样化的场景和风格生成。核心能力包括:基于少量图像(通常3-5张)进行个性化训练,支持自定义提示词控制生成内容,并集成了 PyTorch Lightning 简化训练流程。项目提供完整的训练和推理代码,适合研究者和开发者用于艺术创作、产品设计等需要个性化图像生成的场景。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 7732
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类图像生成
开发团队XavierXiao
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型pytorch,pytorch-lightning,stable-diffusion,text-to-image
GitHub 星标★ 7732
30天Star增速
HF 下载量
上线时间2022-09-06 00:00:00
最近更新2026-09-20 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数1

使用教程

难度:高级 约 60 分钟 部署方式:本地安装 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 具备 NVIDIA GPU 且显存充足(README 提到可开启梯度检查点降低显存占用)
  • 已安装 PyTorch 与 PyTorch Lightning 相关环境
  • 准备好 Stable Diffusion 预训练权重(项目基于 CompVis/stable-diffusion)
  • 准备目标主体的参考图像(通常 3~5 张)

安装与启动步骤

  1. 1克隆项目仓库

    从 GitHub 拉取 Dreambooth-Stable-Diffusion 代码到本地,作为后续训练与推理的根目录。

    git clone https://github.com/XavierXiao/Dreambooth-Stable-Diffusion.git
    cd Dreambooth-Stable-Diffusion
  2. 2准备 SD 预训练权重

    项目是 Stable Diffusion 上的 Dreambooth 实现,需按其依赖的官方仓库说明准备预训练权重文件。

  3. 3准备参考图像

    收集 3~5 张同一主体(人脸、宠物或物品)的图片,用于把唯一标识符与该主体绑定。

  4. 4配置运行环境

    按 PyTorch 与 PyTorch Lightning 的要求准备依赖;显存不足时可启用梯度检查点技巧。

  5. 5参照 Usage 运行

    README 的 Usage 章节给出实际运行方式,按其中说明执行训练与推理流程。

如何确认成功

README 未提供验证方式;能以 Usage 中的方式启动训练并正常产出模型结果,即视为可用。

常见问题

Q:这个项目和 Textual Inversion 有什么区别?

A:README 说明 Textual Inversion 只优化词嵌入,而 Dreambooth 微调整个扩散模型。

Q:显存不够怎么办?

A:README 9/20 更新的思路是开启梯度检查点(gradient checkpointing)技巧来减少显存占用。

Q:为什么不用原版 Imagen 的 Dreambooth?

A:Imagen 的模型与预训练权重都未公开,因此作者把 Dreambooth 实现在 Stable Diffusion 上。

Q:需要多少张参考图?

A:通常 3~5 张即可完成个性化训练,用于绑定特定主体并生成新场景。

注意事项

  • README 节选中没有安装命令与完整用法,本教程步骤为通用准备动作,请以仓库最新说明为准。
  • 项目基于 Textual Inversion 代码库,保留了 embedding manager 等实际不会使用的组件,属正常现象。
  • 训练需要 Stable Diffusion 预训练权重,README 未给出下载地址,需自行按官方仓库准备。

核心亮点

  • 基于官方Dreambooth论文实现,算法原理可靠,训练效果有保障
  • 支持少量样本(3-5张)即可完成个性化微调,使用门槛低
  • 集成PyTorch Lightning,训练代码模块化,易于扩展和修改

不足之处

  • 训练过程对显存要求较高,普通消费级显卡可能难以运行
  • 文档以代码注释为主,缺少系统性的使用教程和常见问题解答

适用场景

  • 为宠物或家人生成不同场景下的个性化图像
  • 产品设计师快速生成特定物品的多种概念图
  • 研究者复现Dreambooth算法并在此基础上进行改进

替代项目

Diffusers (Hugging Face)、InvokeAI、Automatic1111/stable-diffusion-webui

项目介绍

Dreambooth-Stable-Diffusion 是模型训练领域的开源项目,由 XavierXiao 开发,2022 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(7,732)位列前 6%,在模型训练分类的 522 个项目里位列前 7%。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-20。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:为宠物或家人生成不同场景下的个性化图像。同类可对比的替代方案包括 Diffusers (Hugging Face)、InvokeAI、Automatic1111/stable-diffusion-webui。

上一篇:gorilla

下一篇:Lora-for-Diffusers

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列,训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性,长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型,练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13