CLIPAway

说句话就能自动抠掉图中物体，背景无缝补全

CLIPAway 是 NeurIPS 2024 收录的官方实现，专注于基于扩散模型的图像编辑，特别是物体移除与背景填充任务。它利用 CLIP 模型的多模态理解能力，自动识别图像中需要移除的物体，无需用户手动提供精确掩码，从而简化了传统 inpainting 流程。项目解决了现有方法依赖人工标注掩码、交互繁琐的问题，通过 CLIP 的语义特征引导扩散模型生成与周围环境无缝衔接的填充内容。核心能力包括零样本物体检测与移除、自适应掩码生成、以及高质量的背景重建。基于 Stable Diffusion 架构，支持灵活的图像编辑场景，如去除照片中的路人、杂物或瑕疵。代码开源，提供推理与训练脚本，便于研究者复现和二次开发。