diffusers-torchao

一键优化扩散模型，推理提速3倍，显存减半

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 图像生成 🍴 复刻 17 🐛 待处理 4 👀 关注 13
GitHub ↗
GitHub 星标 ★ 396
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，可自由使用和部署，无付费版本。

项目预览

diffusers-torchao 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类图像生成
开发团队sayakpaul
GitHubhttps://github.com/sayakpaul/diffusers-torchao
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，可自由使用和部署，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型architecture-optimization,diffusion-models,flux,text-to-image,torch,torch-compile,torchao
GitHub 星标★ 396
上线时间2024-08-05 00:00:00
代码更新2026-01-08
仓库体积73 KB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

diffusers-torchao 是一个专注于扩散模型优化的端到端配方库，由 Hugging Face 和 PyTorch 团队联合维护。它解决的是扩散模型（如 Stable Diffusion、Flux）在推理和训练中显存占用高、速度慢的问题，通过结合 torchao（PyTorch 的架构优化与量化工具）和 diffusers（扩散模型生态库），提供一系列可复现的优化方案。核心能力包括：支持 FP8 量化训练，显著降低训练显存和计算开销；利用 torch.compile 加速推理，并针对不同 GPU 架构（如 Ada、Hopper）自动选择最优配置；提供多种量化策略（如 int8、int4）和架构优化（如 attention 优化），用户只需简单配置即可获得 2-3 倍推理加速和显存减半。项目以配方（recipe）形式组织，每个配方包含详细代码和基准测试结果，适合生产环境部署和学术研究。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 396

核心亮点

  • 提供 FP8 训练配方，显存占用降低约 50%，训练速度提升明显
  • 集成 torch.compile 和多种量化策略，推理延迟降低 2-3 倍
  • 由 Hugging Face 官方维护，与 diffusers 生态无缝衔接，代码即插即用

不足之处

  • 项目处于早期阶段，部分配方仅支持特定 GPU 架构（如 Ada/Hopper），兼容性有限
  • 文档和示例尚不完善，高级用法需自行阅读源码

适用场景

  • 生产环境部署 Stable Diffusion 或 Flux 模型，需要降低推理延迟和显存成本
  • 在单卡或小显存 GPU 上进行扩散模型微调或全量训练，显存不足时
  • 研究或工程中需要对比不同量化/编译策略对模型质量和速度的影响

替代项目

AITemplate、TensorRT、OpenVINO

上一篇：Lora-for-Diffusers

下一篇：TCD

同类项目推荐

VeOmni 开源

声明式配方，把任意模态大模型训练一键扩展到多机多卡

VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zo···

★ 2286 2026-09-19
focal-frequency-loss 开源

频域聚焦损失，让生成图像细节更清晰

[ICCV 2021] Focal Frequency Loss for Image Reconstruction and Synthesis

★ 716 2026-08-09
MHLA 开源

用 token 级多头，让线性注意力恢复全量表达力

[ICLR 2026] MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-H···

★ 160 2026-08-09
huggingface-gemma-recipes 开源

照着 Notebook 跑，Gemma 推理微调一步到位

Inference, Fine Tuning and many more recipes with Gemma family of models

★ 304 2026-09-16
ktransformers 开源

单卡甚至纯CPU跑大模型，显存不够也能玩转MoE推理微调

A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimiza···

★ 19658 2026-09-16
LLaMEA 开源

让大模型自动进化出更优算法，省去手工调参。

Large Language Model Evolutionary Algorithm

★ 133 2026-09-15
ggufy 开源

一条命令把 safetensors 转成 GGUF，本地跑模型更省事

CLI/GUI tool for efficient and easy safetensors and gguf model conversion

★ 109 2026-10-16