blended-latent-diffusion

用文本和掩码精准编辑图像局部，背景不跑偏

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署图像生成 🍴 复刻 37 👀 关注 44

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 632

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

blended-latent-diffusion 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类图像生成

开发团队omriav

官网地址https://omriavrahami.com/blended-latent-diffusion-page

GitHubhttps://github.com/omriav/blended-latent-diffusion

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Jupyter Notebook

技术栈/模型computer-vision,deep-learning,diffusion,diffusion-models,generative-model,image-generation,multimodal,multimodal-deep-learning,pytorch,text-driven-editing,text-guided-manipulation,text-to-image,text-to-image-synthesis

GitHub 星标★ 632

上线时间2022-06-06 00:00:00

代码更新2024-06-04

仓库体积10.1 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

Blended Latent Diffusion 是 SIGGRAPH 2023 论文的官方实现，用于文本驱动的图像局部编辑。它解决的是传统扩散模型在编辑图像时难以精确控制局部区域的问题，通过将文本提示与用户指定的区域掩码结合，在潜在空间中实现局部编辑，同时保持背景和未编辑区域的一致性。核心能力包括：基于文本的局部编辑、区域掩码控制、背景保持、多轮编辑等。项目提供完整的推理代码和预训练模型，支持自定义掩码和提示词，适合研究和使用扩散模型进行图像编辑的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 632

技术标签

computer-vision deep-learning diffusion diffusion-models generative-model

使用教程

难度：高级约 90 分钟部署方式：本地GPU 5 步

环境要求

GPU 16G 显存以上
CUDA 11.8
SD 系列权重

安装与启动步骤

1建 conda 环境

官方要求特定的 PyTorch 与 CUDA 组合，按它给的命令装。
```
conda install pytorch==2.1.0 torchvision==0.16.0 pytorch-cuda=11.8 -c pytorch -c nvidia
```
2锁扩散库版本

它依赖旧版 diffusers，装新版接口就对不上。
```
pip install -U diffusers==0.19.3
```
3下模型权重

三个脚本分别对应 SDXL、SD2 与 LDM，权重各不相同。

4做一次局部编辑

给原图加一张 mask，mask 内按提示改，外面保持不变。

python scripts/text_editing_SDXL.py --prompt "a stone" --init_image "inputs/img.png" --mask "inputs/mask.png"

5用重建脚本做对比

reconstruct 能看出潜在空间重建本身的误差，这是判断编辑质量的基线。
```
python scripts/reconstruct.py --init_image "inputs/img.png" --mask "inputs/mask.png" --selected_indices 0 1
```