pix2gestalt

从部分可见图像，零样本补全出完整物体形状

开源 🏷️定价信息待确认 ✅ 目前可打开 图像生成 🍴 复刻 14 🐛 待处理 3 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 210
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

pix2gestalt 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类图像生成
开发团队cvlab-columbia
官网地址https://gestalt.cs.columbia.edu
GitHubhttps://github.com/cvlab-columbia/pix2gestalt
定价模式🏷️定价信息待确认
价格说明官网为项目主页，提供论文与演示，但未明确在线体验或定价信息。
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型3d,amodal-completion,amodal-instance-segmentation,amodal-perception,cvpr2024,recognition,stable-diffusion,zero-shot
GitHub 星标★ 210
上线时间2023-12-22 00:00:00
代码更新2025-06-26
仓库体积14.7 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

pix2gestalt 是 CVPR 2024 论文的开源代码，专注于模态补全（amodal completion）任务，即从部分可见的物体图像中，推理并合成其被遮挡的完整形状。它利用 Stable Diffusion 的生成能力，实现零样本的模态实例分割，能够同时预测遮挡物体的完整掩码和外观。该项目解决了传统分割方法只能识别可见部分、无法理解物体整体结构的问题，在机器人操作、自动驾驶、图像编辑等场景中具有应用价值。核心能力包括：基于扩散模型的生成式补全、零样本泛化、以及联合优化形状与外观。代码基于 Python，技术栈涉及 3D 感知和识别。目前项目处于早期阶段（209 星），但方法新颖，为模态感知提供了新思路。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 210

核心亮点

  • 首次将扩散模型用于模态补全，生成完整形状而非仅分割可见区域
  • 零样本能力，无需针对新类别微调即可处理未见过的遮挡物体
  • 联合输出完整掩码和外观，同时解决形状与纹理补全

不足之处

  • 依赖 Stable Diffusion 推理，计算资源消耗大，实时性差
  • 文档/社区待观察，目前代码注释和示例较少，上手门槛较高

适用场景

  • 机器人抓取：从部分遮挡的物体图像推断完整形状，辅助抓取规划
  • 自动驾驶：补全被遮挡的行人或车辆，提升感知鲁棒性
  • 图像编辑：移除遮挡物后生成完整的背景或物体，用于修复和合成

替代项目

Mask2Former、Amodal3D、BCNet

上一篇：ComfyUI-Qwen-VL-API

下一篇：SDMatte

同类项目推荐

Doxa 开源

一键对比十多种图像二值化算法，选型调参不再愁

A Local Adaptive Thresholding framework for image binarization written in C++, with ···

★ 195 2026-08-10
FungalLight 开源

用 Rust 模拟真菌生长，生成有机形态与光影艺术

Rust/Bevy fungal morphology simulation for graphics, artificial life and dynamic lig···

★ 322 2026-08-09
vesselFM 开源

一个模型搞定各类三维血管分割，跨模态直接上手

A foundation model for universal 3D blood vessel segmentation. Paper accepted @ CVPR···

★ 179 2026-08-09
scribe.js 开源

浏览器里直接识别图片和 PDF 文字，无需后端

JavaScript OCR and text extraction for images and PDFs.

★ 323 2026-09-19
ha-llmvision 开源

让 Home Assistant 看懂摄像头，自动触发智能场景

Visual intelligence for your home.

★ 1527 2026-08-09
Churro 开源

让历史手稿和古籍轻松变成可搜索文本

CHURRO is an OCR toolkit for historical document transcription, built to make handwr···

★ 87 2026-08-09
deepdetect 开源

一键部署深度学习模型，提供高性能推理服务

Deep Learning Server and CLI for Torch and TensorRT

★ 2551 2026-08-10
LesionLocator 开源

零样本分割全身病灶，自动追踪肿瘤变化

LesionLocator is a framework for zero-shot lesion segmentation and longitudinal tumo···

★ 115 2026-10-15
001 开源

用代码画图，玩转 WebGL 创意视觉

draw_code.001 — ThreeJS, WebGL & GLSL

★ 55 2026-08-09