pix2gestalt

从部分可见图像，零样本补全出完整物体形状

pix2gestalt 是 CVPR 2024 论文的开源代码，专注于模态补全（amodal completion）任务，即从部分可见的物体图像中，推理并合成其被遮挡的完整形状。它利用 Stable Diffusion 的生成能力，实现零样本的模态实例分割，能够同时预测遮挡物体的完整掩码和外观。该项目解决了传统分割方法只能识别可见部分、无法理解物体整体结构的问题，在机器人操作、自动驾驶、图像编辑等场景中具有应用价值。核心能力包括：基于扩散模型的生成式补全、零样本泛化、以及联合优化形状与外观。代码基于 Python，技术栈涉及 3D 感知和识别。目前项目处于早期阶段（209 星），但方法新颖，为模态感知提供了新思路。