latent-diffusion-segmentation

用扩散模型做开放世界分割，一句话就能分割并修复图像

这是一个基于潜在扩散模型（Latent Diffusion）的开放世界全景分割与掩码修复工具，来自ECCV 2024论文。它解决传统全景分割依赖封闭类别集合、难以泛化到新类别的问题，将分割任务重新定义为生成问题：给定文本提示和图像，模型在潜在空间中生成对应类别的分割掩码，并支持对掩码区域进行内容修复（如移除物体、填充背景）。核心能力包括：利用预训练Stable Diffusion的文本-图像对齐能力实现开放词汇分割；通过掩码条件生成实现实例级编辑；提供推理和训练代码，支持自定义数据集微调。项目用PyTorch实现，适合研究开放世界感知与生成式视觉任务的结合。