PowerPaint

一个模型搞定图像修补:插入、移除、外扩、形状生成全支持

PowerPaint 是一个基于 Stable Diffusion 的高质量多功能图像修补模型,由上海AI实验室等机构在 ECCV 2024 提出。它解决了传统修补模型功能单一、需要针对不同任务分别训练的问题,用一个统一模型同时支持文本引导的物体插入、物体移除、图像外扩(outpainting)和形状引导的物体生成。其核心能力在于通过可学习的任务提示(prompt)来动态切换不同修补模式,无需修改模型权重,即可在多种场景下保持高保真度和语义一致性。项目提供了完整的训练和推理代码、预训练权重以及 Gradio 演示界面,方便研究者复现和开发者集成。技术上基于扩散模型,支持与 ControlNet 等插件结合,实现更精细的形状控制。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1113
维护状态 维护中
是否开源 是
定价模式 free

项目数据

分类图像生成
开发团队open-mmlab
所属国家
定价模式free
价格说明开源模型,MIT许可证,可免费使用和商用,无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型aigc,generation,image-editing,image-inpainting,stable-diffusion
GitHub 星标★ 1113
30天Star增速
HF 下载量
上线时间2023-12-05 00:00:00
最近更新2026-09-14 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

难度:进阶 约 20 分钟 部署方式:本地安装 5 步

环境要求

  • 已安装 Python 与 pip,可执行 pip install
  • 或已安装 Conda,可执行 conda env create / conda activate
  • 已安装 Git 并可访问 GitHub
  • 建议具备可用的 GPU 环境(PowerPaint 基于 Stable Diffusion)
  • 磁盘空间需容纳依赖与大体积模型权重文件

安装与启动步骤

  1. 1克隆项目仓库

    把 PowerPaint 源码下载到本地,后续的 requirements 文件都在仓库内。建议在空目录中执行,避免路径混乱。

    git clone https://github.com/open-mmlab/PowerPaint.git
  2. 2pip 方式装依赖

    进入仓库根目录后按 README 用 requirements 文件安装依赖。这是两种安装方式之一,与 conda 方式二选一。

    cd PowerPaint
    pip install -r requirements/requirements.txt
  3. 3conda 方式建环境

    README 提供的另一种做法:从零构建 conda 环境 ppt。如果你已经用 pip 装过依赖,就不需要再执行这一步。

    cd PowerPaint
    conda env create -f requirements/ppt.yaml
  4. 4激活 conda 环境

    使用 conda 方式安装后需激活 ppt 环境再运行代码。此步仅适用于上一步 conda 建环境的情况。

    conda activate ppt
  5. 5配置 Git LFS

    README 要求安装 git-lfs 并初始化,用于拉取仓库中的大体积文件(如模型权重)。需在有 conda 的环境下执行。

    conda install git-lfs
    git lfs install

如何确认成功

依赖安装过程无报错,命令 conda activate ppt 能正常进入 ppt 环境,即表示基础环境准备完成。

常见问题

Q:pip 和 conda 两种安装方式该选哪个?

A:README 给出的两条路径二选一即可:pip install -r requirements/requirements.txt 适合已有 Python 环境;conda env create -f requirements/ppt.yaml 会新建独立的 ppt 环境,避免依赖冲突。

Q:为什么还要装 git-lfs?

A:README 明确要求先 conda install git-lfs 再执行 git lfs install,用于管理并拉取仓库中的大文件(如模型权重),缺少它可能拉不全权重。

Q:conda activate ppt 提示找不到环境怎么办?

A:说明 ppt.yaml 未成功创建环境。先回到仓库根目录重新执行 conda env create -f requirements/ppt.yaml,确认无报错后再激活。

Q:安装完依赖后怎么开始使用?

A:本次 README 节选只覆盖依赖安装部分,权重下载与推理/Gradio 演示的启动命令需参考仓库后续文档与 HuggingFace、OpenXLab 上的权重页面。

注意事项

  • 必须先用 git clone 获取仓库,requirements/ppt.yaml 与 requirements/requirements.txt 都在仓库目录内。
  • pip 与 conda 两种安装方式择一即可,混用可能造成依赖版本冲突。
  • conda activate ppt 仅在使用 ppt.yaml 建环境时才需要执行。
  • 模型权重不在本段 README 中给出下载命令,请按官方 HuggingFace / OpenXLab 页面指引获取。

核心亮点

  • 统一模型覆盖四种修补任务,免去多模型切换的麻烦
  • 任务提示机制灵活,无需微调即可切换不同模式
  • 代码完整,提供预训练权重和在线Demo,上手门槛低

不足之处

  • 模型基于Stable Diffusion,推理速度较慢,对硬件要求较高
  • 文档/社区待观察,部分高级用法依赖英文说明

适用场景

  • 电商场景中去除图片背景杂物或替换商品
  • 艺术创作中扩展画布或生成缺失区域
  • 老照片修复时移除瑕疵或填补破损部分

替代项目

LaMa、BrushNet、Stable Diffusion Inpainting

项目介绍

PowerPaint 是图像领域的开源项目,由 open-mmlab 开发,2023 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(1,113)位列前 30%,在图像分类的 839 个项目里位列前 15%。

项目仍在小幅维护中,最近一次代码更新于 2026-09-14。MIT许可证,可免费使用和商用,无付费版本。从国内网络环境看,可直接访问。

它主要面向的使用场景是:电商场景中去除图片背景杂物或替换商品。同类可对比的替代方案包括 LaMa、BrushNet、Stable Diffusion Inpainting。

上一篇:stable.art

下一篇:sd-webui-stablesr

同类项目推荐

satori 开源

网页代码一键变高清图,放大不糊,不用截图

Enlightened library to convert HTML and CSS to SVG

★ 13967 2026-08-09
C2GAN 开源

用关键点精准控制图像生成,让AI画出你想要的结构

[ACM MM 2019 Oral] Cycle In Cycle Generative Adversarial Networks for Keypoint-Guide···

★ 70 2026-08-09
imagen-pytorch 开源

说句话生成高清图,放大也不糊

Implementation of Imagen, Google's Text-to-Image Neural Network, in Pytorch

★ 8427 2026-08-09