diffusers-torchao

一键优化扩散模型,推理提速3倍,显存减半

diffusers-torchao 是一个专注于扩散模型优化的端到端配方库,由 Hugging Face 和 PyTorch 团队联合维护。它解决的是扩散模型(如 Stable Diffusion、Flux)在推理和训练中显存占用高、速度慢的问题,通过结合 torchao(PyTorch 的架构优化与量化工具)和 diffusers(扩散模型生态库),提供一系列可复现的优化方案。核心能力包括:支持 FP8 量化训练,显著降低训练显存和计算开销;利用 torch.compile 加速推理,并针对不同 GPU 架构(如 Ada、Hopper)自动选择最优配置;提供多种量化策略(如 int8、int4)和架构优化(如 attention 优化),用户只需简单配置即可获得 2-3 倍推理加速和显存减半。项目以配方(recipe)形式组织,每个配方包含详细代码和基准测试结果,适合生产环境部署和学术研究。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 399
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类图像生成
开发团队sayakpaul
所属国家
官网地址
定价模式free
价格说明开源项目,Apache-2.0许可证,可自由使用和部署,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型architecture-optimization,diffusion-models,flux,text-to-image,torch,torch-compile,torchao
GitHub 星标★ 399
30天Star增速
HF 下载量
上线时间2024-08-05 00:00:00
最近更新2026-08-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数1

使用教程

核心亮点

  • 提供 FP8 训练配方,显存占用降低约 50%,训练速度提升明显
  • 集成 torch.compile 和多种量化策略,推理延迟降低 2-3 倍
  • 由 Hugging Face 官方维护,与 diffusers 生态无缝衔接,代码即插即用

不足之处

  • 项目处于早期阶段,部分配方仅支持特定 GPU 架构(如 Ada/Hopper),兼容性有限
  • 文档和示例尚不完善,高级用法需自行阅读源码

适用场景

  • 生产环境部署 Stable Diffusion 或 Flux 模型,需要降低推理延迟和显存成本
  • 在单卡或小显存 GPU 上进行扩散模型微调或全量训练,显存不足时
  • 研究或工程中需要对比不同量化/编译策略对模型质量和速度的影响

替代项目

AITemplate、TensorRT、OpenVINO

项目介绍

diffusers-torchao 是模型训练领域的开源项目,由 sayakpaul 开发,2024 年首次发布。

它收录于模型训练分类,该分类目前共有 522 个项目,GitHub 星标数为 399。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-08-21。Apache-2.0许可证,可自由使用和部署,无付费版本。

它主要面向的使用场景是:生产环境部署StableDiffusion或Flux模型,需要降低推理延迟和显存成本。同类可对比的替代方案包括 AITemplate、TensorRT、OpenVINO。

上一篇:Lora-for-Diffusers

下一篇:TCD

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列,训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性,长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型,练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13