
sd-webui-segment-anything
在 Stable Diffusion 里框选物体,即可精准重绘或替换
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3496
使用教程
环境要求
- 已安装 AUTOMATIC1111 Stable Diffusion WebUI(插件宿主)
- 足够的磁盘空间存放 SAM 权重(375MB~2.57GB,按所选模型而定)
- 显存不足时需改用更小的模型(作者在 NVIDIA 3090 Ti 上验证了 vit_h)
- 可访问 dl.fbaipublicfiles.com 或 huggingface.co 下载模型
安装与启动步骤
-
1进入扩展目录
定位到 Stable Diffusion WebUI 的 extensions 目录,插件需要放在这里才能被识别。
cd /your/path/stable-diffusion-webui/extensions -
2克隆插件仓库
用 git clone 把 sd-webui-segment-anything 拉取到 extensions 目录,也可以在 WebUI 界面里安装。
git clone https://github.com/continue-revolution/sd-webui-segment-anything.git -
3准备模型目录
在 sd-webui 的 models 下新建 sam 目录存放权重;若改用扩展自带 models/sam,则需删掉这个目录,二者只能选一个。
mkdir -p /your/path/stable-diffusion-webui/models/sam -
4下载 SAM 权重
任选一个模型下载:sam_vit_h(2.56GB)、sam_vit_l(1.25GB)、sam_vit_b(375MB),显存不够就选更小的。
cd /your/path/stable-diffusion-webui/models/sam wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth -
5可选换其它模型
也可改用 SAM-HQ 的 sam_hq_vit_h/l/b,下载后同样放进 sam 目录。
wget https://huggingface.co/lkeab/hq-sam/resolve/main/sam_hq_vit_b.pth -
6检查模型文件名
必须保持下载时的原始文件名,改名会导致 segment anything 内部报错、插件失效。
-
7重启 WebUI
重启 Stable Diffusion WebUI,扩展会加载 SAM 模型;首次使用 GroundingDINO 时会自动安装依赖和模型。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
SAM 模型存放目录 | 是 | 二选一:sd-webui/models/sam 或扩展目录下的 models/sam | /your/path/stable-diffusion-webui/models/sam |
SAM 模型文件名 | 是 | 必须保持原始文件名不可修改,否则插件会失败 | sam_vit_h_4b8939.pth |
GroundingDINO 模型目录 | 否 | 终端无法访问 huggingface 时手动放置下载好的模型 | ${sd-webui-segment-anything}/models/grounding-dino |
如何确认成功
重启 WebUI 后能看到 Segment Anything 扩展界面,上传图片点击画面即可生成分割掩码。
常见问题
Q:插件加载报错或无法生成掩码怎么办?
A:先检查 SAM 权重文件名是否被修改,README 明确要求不能改名;再确认模型放在 models/sam 而不是两处都放。
Q:显存不够(VRAM problem)怎么处理?
A:按 README 建议换用更小的模型,从 sam_vit_h 换成 sam_vit_l、sam_vit_b,或使用 39MB 的 MobileSAM。
Q:终端无法访问 huggingface 怎么办?
A:手动下载 GroundingDINO 模型放到扩展的 models/grounding-dino 下;但 GroundingDINO 仍需联网下载 bert 词表,暂无替代方案。
Q:页面显示受其他副本影响怎么处理?
A:在扩展 UI 底部点击 Uncheck all copies,避免其他副本干扰当前页面。
注意事项
- 模型目录只能选一处:用扩展内的 models/sam 时,需删除 ${sd-webui}/models/sam。
- GroundingDINO 的包、模型以及 ControlNet annotator 模型会在首次使用时自动安装。
- Matting-Anything 与 FastSAM 目前尚未支持,README 中标注为计划支持。
- 首次下载权重体积较大,请预留磁盘空间并保持网络稳定。
核心亮点
- 集成 SAM 模型,支持点击和框选交互式分割,操作直观
- 分割掩码可直接用于局部重绘,实现精准控制生成区域
- 支持自动分割全部物体,便于批量处理或背景移除
不足之处
- 依赖较大的 SAM 模型权重,首次加载耗时较长
- 文档/社区待观察
适用场景
- 对生成图像中的特定物体进行局部重绘或修复
- 一键移除图片背景或替换背景
- 将图像中的物体分割后用于其他设计或合成
替代项目
sd-webui-controlnet、stable-diffusion-webui-inpaint-anything、sd-webui-mask2former
同类项目推荐
EscherNet
开源
从几张照片生成任意视角新图,3D重建更轻松
[CVPR2024 Oral] EscherNet: A Generative Model for Scalable View Synthesis
dpscreenocr
开源
框选屏幕任意区域,一键提取文字到剪贴板
A program to recognize text on the screen
PGS
开源
在Processing里轻松搞定复杂几何处理,让创意不卡壳。
Processing Geometry Suite
laravel-ocr
开源
Laravel 里几行代码把发票 PDF 变成结构化数据
Laravel OCR & Document Data Extractor – A powerful OCR and document parsing engine ···
apexshot
开源
截图标注、录屏、OCR 一站搞定
ApexShot: open-source Linux screenshot tool with annotation, screen recording, OCR, ···
Conffusion
开源
给扩散模型生成结果加上统计置信区间,量化不确定性
Official Implementation for the "Conffusion: Confidence Intervals for Diffusion Mode···
spirula-studio
开源
视频一键训练成3D高斯和网格,A卡N卡都能跑
Cross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.
Looking-Back-OCR
开源
用 AI 把越南语古籍旧书扫描件转成可编辑文字
Công cụ OCR tài liệu, sách xưa tiếng Việt bằng Gemini hoặc Meta AI.
FoundAD
开源
用基础视觉编码器,少样本即可精准检测异常
[ICLR 2026] The implementation of the paper Foundation Visual Encoders Are Secretly ···