AnyDoor

上传物体和场景,零训练一键将物体无缝融入新图

AnyDoor 是一个零样本(zero-shot)物体级图像定制工具,基于论文《Anydoor: zero-shot object-level image customization》的官方实现。它解决的核心问题是:用户给定一个目标物体(如一张商品图)和一张场景图,无需任何训练或微调,即可将物体以自然、和谐的方式“放入”场景中,并支持位置、大小、姿态等属性的灵活控制。其核心能力包括:利用扩散模型(Diffusion Model)实现高保真的物体迁移与融合,保持物体细节的同时适应场景光照、透视和背景;支持多物体同时插入;提供基于文本或掩码的引导。项目主要面向图像编辑、电商展示、创意设计等场景,让非专业用户也能轻松实现专业级的图像合成效果。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 4240
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类图像生成
开发团队ali-vilab
所属国家
定价模式free
价格说明开源项目,MIT许可证,提供在线演示页面,可免费使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型image-composition,image-customization,image-editing,image-generation
GitHub 星标★ 4240
30天Star增速
HF 下载量
上线时间2023-07-17 00:00:00
最近更新2026-09-20 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:进阶 约 20 分钟 部署方式:本地安装 5 步

环境要求

  • 已安装 Conda(用于 conda env create 方式)或 Python + pip(用于 pip 方式)
  • 能正常访问网络,以下载依赖包与 Git 仓库
  • 仅训练场景才需要额外安装 panopticapi、pycocotools、lvis

安装与启动步骤

  1. 1获取项目代码

    把官方仓库克隆到本地,后续所有安装命令都要在项目根目录执行。

    git clone https://github.com/ali-vilab/AnyDoor.git
  2. 2用 Conda 建环境

    方式一:在项目根目录执行,按 environment.yaml 一次性创建名为 anydoor 的环境。

    conda env create -f environment.yaml
  3. 3激活环境

    方式一后续步骤:激活刚创建的 anydoor 环境,命令行前缀应出现 (anydoor)。

    conda activate anydoor
  4. 4或用 pip 装依赖

    方式二:不用 Conda 时,直接在项目根目录按 requirements.txt 安装依赖,两种方式选其一即可。

    pip install -r requirements.txt
  5. 5装训练额外依赖

    仅当需要训练时才执行,README 明确要求补装 panopticapi、pycocotools、lvis 三个包。

    pip install git+https://github.com/cocodataset/panopticapi.git
    pip install pycocotools -i https://pypi.douban.com/simple
    pip install lvis

关键配置

配置项必填说明示例
environment.yaml否Conda 环境定义文件,conda env create 时读取。environment.yaml
requirements.txt否pip 依赖清单,使用 pip 安装方式时读取。requirements.txt

如何确认成功

README 未给出验证命令;执行 conda activate anydoor(或 pip list)能进入环境并看到依赖装好,即视为安装完成。

常见问题

Q:Conda 和 pip 两种安装方式怎么选?

A:二选一即可。用 Conda 执行 conda env create -f environment.yaml 再 conda activate anydoor;不用 Conda 则直接 pip install -r requirements.txt。

Q:提示缺少 panopticapi、pycocotools 或 lvis 怎么办?

A:这三个包属于训练所需的额外依赖,README 要求单独安装:panopticapi 用 git+ 地址安装,pycocotools 走指定镜像源,lvis 直接 pip 安装。

Q:不想本地安装,能直接在线体验吗?

A:可以。README 提供了 ModelScope、Hugging Face Spaces 和 Replicate 三个在线体验入口,无需本地配置环境。

Q:安装完就能直接生成图片吗?

A:README 只给出了安装步骤,未提供模型权重下载地址和推理命令,需要另行获取权重与使用说明后才能实际推理。

注意事项

  • README 中只有安装说明,没有推理命令、端口或参数示例,本教程未编造这部分内容。
  • pycocotools 在 README 里指定使用豆瓣镜像源(https://pypi.douban.com/simple)安装。
  • 所有安装命令需在克隆下来的 AnyDoor 项目根目录执行,否则找不到 environment.yaml / requirements.txt。
  • 在线体验地址:ModelScope、Hugging Face Spaces、Replicate(链接见 README 顶部徽章)。

核心亮点

  • 零样本定制:无需针对每个物体重新训练,开箱即用
  • 高保真融合:物体细节保留完整,光影和透视与场景自然协调
  • 支持多物体和交互式控制,可指定位置、大小等属性

不足之处

  • 复杂遮挡或极端角度下融合效果可能不完美
  • 文档/社区待观察

适用场景

  • 电商场景图生成:将商品图快速置入不同背景
  • 创意设计:将素材物体融入海报或插画
  • 虚拟试穿/家具摆放:预览物体在真实环境中的效果

替代项目

Paint-by-Example、ControlNet、Stable Diffusion Inpainting

项目介绍

AnyDoor 是图像领域的开源项目,由 ali-vilab 开发,2023 年首次发布。

在全站 13,109 个收录项目中,它的 GitHub 星标数(4,240)位列前 10%,在图像分类的 840 个项目里位列前 6%。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-20。MIT许可证,提供在线演示页面,可免费使用。从国内网络环境看,可直接访问。

它主要面向的使用场景是:电商场景图生成:将商品图快速置入不同背景。同类可对比的替代方案包括 Paint-by-Example、ControlNet、Stable Diffusion Inpainting。

上一篇:unpaint

下一篇:FontDiffuser

同类项目推荐

satori 开源

网页代码一键变高清图,放大不糊,不用截图

Enlightened library to convert HTML and CSS to SVG

★ 13967 2026-08-09
C2GAN 开源

用关键点精准控制图像生成,让AI画出你想要的结构

[ACM MM 2019 Oral] Cycle In Cycle Generative Adversarial Networks for Keypoint-Guide···

★ 70 2026-08-09
imagen-pytorch 开源

说句话生成高清图,放大也不糊

Implementation of Imagen, Google's Text-to-Image Neural Network, in Pytorch

★ 8427 2026-08-09