latent-diffusion-segmentation

用扩散模型做开放世界分割,一句话就能分割并修复图像

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 7 🐛 待处理 10 👀 关注 8
GitHub ↗
GitHub 星标 ★ 108
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,代码公开,可自行部署使用,无收费计划。

项目预览

latent-diffusion-segmentation 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队segments-ai
定价模式🏷️完全免费
价格说明开源项目,代码公开,可自行部署使用,无收费计划。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型diffusion-models,generative-ai,latent-diffusion,panoptic-segmentation,pytorch,segmentation,stable-diffusion
GitHub 星标★ 108
上线时间2024-01-15 00:00:00
代码更新2024-01-30
仓库体积4.2 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

这是一个基于潜在扩散模型(Latent Diffusion)的开放世界全景分割与掩码修复工具,来自ECCV 2024论文。它解决传统全景分割依赖封闭类别集合、难以泛化到新类别的问题,将分割任务重新定义为生成问题:给定文本提示和图像,模型在潜在空间中生成对应类别的分割掩码,并支持对掩码区域进行内容修复(如移除物体、填充背景)。核心能力包括:利用预训练Stable Diffusion的文本-图像对齐能力实现开放词汇分割;通过掩码条件生成实现实例级编辑;提供推理和训练代码,支持自定义数据集微调。项目用PyTorch实现,适合研究开放世界感知与生成式视觉任务的结合。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 108

核心亮点

  • 开放词汇分割:支持任意文本描述的新类别,无需重新训练
  • 分割+修复一体化:同一模型既能分割也能编辑掩码区域
  • 基于Stable Diffusion,利用大规模预训练知识,泛化性强

不足之处

  • 推理速度较慢,扩散模型多次采样耗时
  • 对高分辨率图像显存需求高
  • 文档/社区待观察

适用场景

  • 自动驾驶场景理解:识别罕见障碍物
  • 图像编辑:移除物体并自然填充背景
  • 机器人抓取:根据文本指令分割目标物体

替代项目

Mask2Former、OpenSeeD、SAM (Segment Anything Model)

上一篇:Stable-Diffusion-Seg

下一篇:Conceptor

同类项目推荐

vision-demos 开源

克隆即跑的趣味 CV 演示,几分钟看到识别效果

Fun real-world computer vision demos!

★ 1135 2026-09-18
face-emotion-recognition 开源

摄像头前做表情,AI陪你聊情绪

Real-time Face & emotion recognition system using a lightweight CNN, with OpenCV web···

★ 55 2026-08-09
EndoDAC 开源

让基础模型秒变内窥镜深度感知专家,无需标注即可用

[MICCAI 2024] EndoDAC: Efficient Adapting Foundation Model for Self-Supervised Depth···

★ 97 2026-08-09
OCR4all 开源

古籍扫描件上传,自动识别加人工校对,一键导出文本

Provides OCR (Optical Character Recognition) services through web applications

★ 712 2026-09-19
system-ocr 开源

调系统自带 OCR,截图取字不装大模型

Ocr api via system API

★ 116 2026-09-19
Metalhead.jl 开源

Julia 里开箱即用的 Flux 视觉模型库

AI models in Julia on top of Flux.jl

★ 353 2026-10-26
MagicBokeh 开源

一键生成高倍变焦电影级散景,告别生硬抠图

[CVPR26 Oral & Best Paper Finalist] MagicBokeh is the first unified method specifica···

★ 60 2026-08-09
Falcon-Perception 开源

原生多模态模型推理,看图识文一步到位

Inference repo for Falcon-Perception and Falcon-OCR model, early-fusion, natively mu···

★ 796 2026-09-19