sd-webui-segment-anything

在 Stable Diffusion 里框选物体,即可精准重绘或替换

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 222 🐛 待处理 72 👀 关注 29
GitHub ↗
GitHub 星标 ★ 3496
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,免费使用,需自行部署到Stable Diffusion WebUI。

项目预览

sd-webui-segment-anything 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队continue-revolution
定价模式🏷️完全免费
价格说明开源项目,免费使用,需自行部署到Stable Diffusion WebUI。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型segment-anything,stable-diffusion,stable-diffusion-webui,stable-diffusion-webui-plugin
GitHub 星标★ 3496
上线时间2023-04-10 00:00:00
代码更新2024-04-30
仓库体积417 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

sd-webui-segment-anything 是一个为 Stable Diffusion WebUI 开发的插件,它将 Meta 的 Segment Anything 模型(SAM)集成到图像生成工作流中。该插件解决了 Stable Diffusion 用户难以精确控制图像中特定区域进行编辑或重绘的问题。其核心能力包括:自动生成图像中所有物体的分割掩码,支持点击或框选交互式选择目标区域,并能将掩码直接用于局部重绘(Inpainting)、背景替换、物体移除等任务。通过结合 SAM 的零样本分割能力和 Stable Diffusion 的生成能力,用户可以在 WebUI 界面内完成从图像分割到再创作的完整流程,无需编写代码或切换工具。该插件显著提升了图像编辑的精度和效率,特别适合需要对生成图像进行精细后期处理的创作者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3496

使用教程

难度:入门 约 20 分钟 部署方式:本地安装 7 步

环境要求

  • 已安装 AUTOMATIC1111 Stable Diffusion WebUI(插件宿主)
  • 足够的磁盘空间存放 SAM 权重(375MB~2.57GB,按所选模型而定)
  • 显存不足时需改用更小的模型(作者在 NVIDIA 3090 Ti 上验证了 vit_h)
  • 可访问 dl.fbaipublicfiles.com 或 huggingface.co 下载模型

安装与启动步骤

  1. 1进入扩展目录

    定位到 Stable Diffusion WebUI 的 extensions 目录,插件需要放在这里才能被识别。

    cd /your/path/stable-diffusion-webui/extensions
  2. 2克隆插件仓库

    用 git clone 把 sd-webui-segment-anything 拉取到 extensions 目录,也可以在 WebUI 界面里安装。

    git clone https://github.com/continue-revolution/sd-webui-segment-anything.git
  3. 3准备模型目录

    在 sd-webui 的 models 下新建 sam 目录存放权重;若改用扩展自带 models/sam,则需删掉这个目录,二者只能选一个。

    mkdir -p /your/path/stable-diffusion-webui/models/sam
  4. 4下载 SAM 权重

    任选一个模型下载:sam_vit_h(2.56GB)、sam_vit_l(1.25GB)、sam_vit_b(375MB),显存不够就选更小的。

    cd /your/path/stable-diffusion-webui/models/sam
    wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth
  5. 5可选换其它模型

    也可改用 SAM-HQ 的 sam_hq_vit_h/l/b,下载后同样放进 sam 目录。

    wget https://huggingface.co/lkeab/hq-sam/resolve/main/sam_hq_vit_b.pth
  6. 6检查模型文件名

    必须保持下载时的原始文件名,改名会导致 segment anything 内部报错、插件失效。

  7. 7重启 WebUI

    重启 Stable Diffusion WebUI,扩展会加载 SAM 模型;首次使用 GroundingDINO 时会自动安装依赖和模型。

关键配置

配置项必填说明示例
SAM 模型存放目录是二选一:sd-webui/models/sam 或扩展目录下的 models/sam/your/path/stable-diffusion-webui/models/sam
SAM 模型文件名是必须保持原始文件名不可修改,否则插件会失败sam_vit_h_4b8939.pth
GroundingDINO 模型目录否终端无法访问 huggingface 时手动放置下载好的模型${sd-webui-segment-anything}/models/grounding-dino

如何确认成功

重启 WebUI 后能看到 Segment Anything 扩展界面,上传图片点击画面即可生成分割掩码。

常见问题

Q:插件加载报错或无法生成掩码怎么办?

A:先检查 SAM 权重文件名是否被修改,README 明确要求不能改名;再确认模型放在 models/sam 而不是两处都放。

Q:显存不够(VRAM problem)怎么处理?

A:按 README 建议换用更小的模型,从 sam_vit_h 换成 sam_vit_l、sam_vit_b,或使用 39MB 的 MobileSAM。

Q:终端无法访问 huggingface 怎么办?

A:手动下载 GroundingDINO 模型放到扩展的 models/grounding-dino 下;但 GroundingDINO 仍需联网下载 bert 词表,暂无替代方案。

Q:页面显示受其他副本影响怎么处理?

A:在扩展 UI 底部点击 Uncheck all copies,避免其他副本干扰当前页面。

注意事项

  • 模型目录只能选一处:用扩展内的 models/sam 时,需删除 ${sd-webui}/models/sam。
  • GroundingDINO 的包、模型以及 ControlNet annotator 模型会在首次使用时自动安装。
  • Matting-Anything 与 FastSAM 目前尚未支持,README 中标注为计划支持。
  • 首次下载权重体积较大,请预留磁盘空间并保持网络稳定。

核心亮点

  • 集成 SAM 模型,支持点击和框选交互式分割,操作直观
  • 分割掩码可直接用于局部重绘,实现精准控制生成区域
  • 支持自动分割全部物体,便于批量处理或背景移除

不足之处

  • 依赖较大的 SAM 模型权重,首次加载耗时较长
  • 文档/社区待观察

适用场景

  • 对生成图像中的特定物体进行局部重绘或修复
  • 一键移除图片背景或替换背景
  • 将图像中的物体分割后用于其他设计或合成

替代项目

sd-webui-controlnet、stable-diffusion-webui-inpaint-anything、sd-webui-mask2former

上一篇:lite.ai.toolkit

下一篇:comfyui_segment_anything

同类项目推荐

EscherNet 开源

从几张照片生成任意视角新图,3D重建更轻松

[CVPR2024 Oral] EscherNet: A Generative Model for Scalable View Synthesis

★ 382 2026-08-09
dpscreenocr 开源

框选屏幕任意区域,一键提取文字到剪贴板

A program to recognize text on the screen

★ 300 2026-09-30
PGS 开源

在Processing里轻松搞定复杂几何处理,让创意不卡壳。

Processing Geometry Suite

★ 220 2026-08-09
laravel-ocr 开源

Laravel 里几行代码把发票 PDF 变成结构化数据

Laravel OCR & Document Data Extractor – A powerful OCR and document parsing engine ···

★ 192 2026-09-29
apexshot 开源

截图标注、录屏、OCR 一站搞定

ApexShot: open-source Linux screenshot tool with annotation, screen recording, OCR, ···

★ 102 2026-11-08
Conffusion 开源

给扩散模型生成结果加上统计置信区间,量化不确定性

Official Implementation for the "Conffusion: Confidence Intervals for Diffusion Mode···

★ 143 2026-08-09
spirula-studio 开源

视频一键训练成3D高斯和网格,A卡N卡都能跑

Cross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.

★ 2247 2026-10-05
Looking-Back-OCR 开源

用 AI 把越南语古籍旧书扫描件转成可编辑文字

Công cụ OCR tài liệu, sách xưa tiếng Việt bằng Gemini hoặc Meta AI.

★ 119 2026-09-19
FoundAD 开源

用基础视觉编码器,少样本即可精准检测异常

[ICLR 2026] The implementation of the paper Foundation Visual Encoders Are Secretly ···

★ 107 2026-08-09