distill-sd
把大模型蒸馏成小模型，低显存也能跑高质量图像生成
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 619
使用教程
环境要求
- GPU 24G 显存以上
- 原版模型权重
- 扩散模型基础
安装与启动步骤
-
1克隆仓库
这是论文的非官方实现，代码组织与官方风格不同。
git clone https://github.com/segmind/distill-sd && cd distill-sd -
2准备教师与学生配置
教师用原版模型，学生按官方给的裁剪方案定义结构。
-
3跑蒸馏训练
按脚本起训，重点盯住学生相对教师的指标差距。
-
4评估
用标准指标对比原版与蒸馏版，别只看生成图好不好看。
-
5部署小模型
产出体积减半的权重，可直接替换到原推理流程里。
如何确认成功
学生模型参数量约为教师一半，且同一提示下生成质量主观接近、延迟明显下降
注意事项
- 这是非官方实现，指标与论文可能有差距，比较时注明来源。
- 蒸馏要教师模型全程参与，显存与时间成本都不低。
- 体积减半不等于质量不变，边缘细节的退化最明显。
- 商用前先确认原模型与蒸馏权重的许可条款。
核心亮点
- 提供多种蒸馏技术（渐进式、一致性蒸馏），灵活适配不同压缩需求
- 蒸馏后模型体积可缩小数倍，推理速度提升明显，适合边缘部署
- 与 Hugging Face Diffusers 深度集成，上手门槛低，易于实验
不足之处
- 文档和示例相对较少，新手配置环境可能遇到困难
- 蒸馏过程需要较大计算资源，训练时间较长
适用场景
- 在消费级 GPU 上部署快速图像生成服务
- 为移动端或边缘设备压缩 Stable Diffusion 模型
- 研究模型蒸馏技术，探索生成质量与速度的平衡
替代项目
BK-SDM、LCM-LoRA、SD-Turbo
同类项目推荐
SPO
开源
分步优化扩散模型，让AI生图更懂审美
[CVPR 2025] Aesthetic Post-Training Diffusion Models from Generic Preferences with S···
DoLa
开源
不重训模型，对比层输出，让大模型少说瞎话。
Official implementation for the paper "DoLa: Decoding by Contrasting Layers Improves···
Prism
开源
动态稀疏注意力，让2K音视频生成模型原生训练更省算力
We propose Prism, a dynamic sparse attention framework for natively training joint v···
TEMPO
开源
用提示词调教时间序列预测，跨领域泛化更强
The official code for "TEMPO: Prompt-based Generative Pre-trained Transformer for Ti···
can-i-finetune-this
开源
先查显存再微调，避免模型下载后跑不动的尴尬
Single-GPU LLM fine-tuning preflight: memory estimates, runnable LoRA/QLoRA recipes,···
mlx-lm-lora
开源
Mac 上微调大模型，LoRA/DPO 一条命令跑通
Train Large Language Models on MLX.
Fairy-plus-minus-i
开源
把LLM权重量化搬到复数域，低比特下少掉点
Fairy±i (iFairy): Complex-valued Quantization Framework for Large Language Models
Open-LLaVA-NeXT
开源
开源复现 LLaVA-NeXT，快速训练你的多模态对话模型
An open-source implementation for training LLaVA-NeXT.
lora-prompt-tool
开源
管理 LoRA 触发词，自动补全提示词，提升出图效率。
A Stable Diffusion webUI extension for manage trigger word for LoRA or other model