diffusers

一个工具库搞定图像视频音频生成,拿来即用

Hugging Face 官方出品的扩散模型工具库,基于 PyTorch,提供图像、视频、音频生成领域最先进的扩散模型,接口统一、开箱即用,是研究与生产环境中最受欢迎的扩散模型标准库。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 34578
维护状态 活跃
是否开源
定价模式 free

项目数据

分类图像生成
开发团队huggingface
所属国家
官网地址
定价模式free
价格说明开源库,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态
是否开源
开源协议Apache-2.0
主要语言Python
技术栈/模型deep-learning,diffusion,flux,image-generation,image2image,image2video,latent-diffusion-models,pytorch,qwen-image,score-based-generative-modeling,stable-diffusion,stable-diffusion-diffusers,text2image,text2video,video2video
GitHub 星标★ 34578
30天Star增速
HF 下载量
上线时间2022-05-30 00:00:00
最近更新2026-09-22 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 7 步

环境要求

  • Python 环境(建议使用虚拟环境安装)
  • PyTorch(请按 PyTorch 官方文档安装对应版本)
  • 可用 pip 或 Conda 包管理器
  • 运行官方示例需要 NVIDIA GPU(示例代码使用 cuda 与 float16)

安装与启动步骤

  1. 1创建虚拟环境

    README 建议在虚拟环境中安装 Diffusers,避免与系统包冲突。先进入你的项目目录再执行。

    python -m venv .venv
  2. 2激活虚拟环境

    Windows 与 Linux/macOS 激活命令不同,激活后命令行前会出现环境名。

    source .venv/bin/activate
  3. 3安装 PyTorch

    README 提示安装 Diffusers 前请参考 PyTorch 官方文档,按你的 CUDA 版本选择安装命令。

    pip install torch
  4. 4安装 Diffusers

    从 PyPI 安装 Diffusers,也可改用 Conda 安装。

    pip install diffusers
  5. 5写 Quickstart 脚本

    新建 quickstart.py,粘贴 README 中的示例代码,用 from_pretrained 加载预训练扩散模型生成图像。

    from diffusers import DiffusionPipeline
    import torch
    
    pipeline = DiffusionPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5", dtype=torch.float16)
    pipeline.to("cuda")
    pipeline("An image of a squirrel in Picasso style").images[0]
  6. 6运行生成图像

    首次运行会自动从 Hugging Face Hub 下载模型权重,耗时较长,请保持网络畅通。

    python quickstart.py
  7. 7尝试底层组件

    README 还给出用 DDPMScheduler 与 UNet2DModel 自行搭建扩散流程的示例,可进阶学习。

    from diffusers import DDPMScheduler, UNet2DModel
    from PIL import Image
    import torch
    
    scheduler = DDPMScheduler.from_pretrained("google/ddpm-cat-256")
    model = UNet2DModel.from_pretrained("google/ddpm-cat-256").to("cuda")
    scheduler.set_timesteps(50)

如何确认成功

运行 python quickstart.py 无报错,最后一行返回一张 PIL 图像,即为成功。

常见问题

Q:必须先安装 PyTorch 吗?

A:是。Diffusers 基于 PyTorch,README 明确建议先参考 PyTorch 官方文档安装好与本机 CUDA 匹配的版本,再安装 Diffusers。

Q:预训练模型从哪里获取?

A:代码中的 from_pretrained 会自动从 Hugging Face Hub 下载,可在 Hub 上按 library=diffusers 筛选,README 提到有 30000+ 个 checkpoint 可选。

Q:没有 GPU 能运行吗?

A:README 示例使用 pipeline.to("cuda") 和 float16 精度,属于 GPU 场景;无 GPU 时需去掉 cuda 相关调用,速度会明显变慢。

Q:第一次运行为什么很慢?

A:首次执行需要从 Hugging Face Hub 下载模型权重文件,体积较大,下载完成后再次运行会快很多。

注意事项

  • recommended 使用虚拟环境安装,避免污染系统 Python 环境
  • 示例中 dtype=torch.float16 需要 GPU 支持,低显存显卡也能受益
  • 30,000+ 预训练模型均可通过 from_pretrained 一键加载
  • 底层 DDPMScheduler 与 UNet2DModel 可用于自建扩散系统,适合进阶研究

核心亮点

  • 提供统一的扩散模型训练与推理接口,覆盖图像、视频、音频多模态生成,生态完整
  • 深度集成PyTorch,支持Flux、Stable Diffusion等主流模型,社区活跃且文档丰富
  • 支持图像到图像、图像到视频等复杂任务,并内置优化(如注意力切片)降低显存占用

不足之处

  • API抽象层次较高,自定义模型或精细控制时需深入源码,学习曲线陡峭
  • 依赖众多(如transformers、accelerate),版本更新频繁,环境配置易出兼容性问题

适用场景

  • 快速原型验证:基于预训练模型生成图像、视频或音频
  • 学术研究:复现论文、微调扩散模型或开发新架构
  • 生产部署:通过Pipeline集成到应用,支持批量生成与后处理

替代项目

ComfyUI、Stable Diffusion WebUI、InvokeAI

项目介绍

diffusers 是开发框架领域的开源项目,由 huggingface 开发,2022 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(34,578)位列前 2%,在开发框架分类的 795 个项目里位列前 1%。

近 44 天,它的 GitHub 星标从 34,271 增加到 34,578,净增 307。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-22。开源库,Apache-2.0 许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:快速原型验证:基于预训练模型生成图像、视频或音频。同类可对比的替代方案包括 ComfyUI、Stable Diffusion WebUI、InvokeAI。

上一篇:wechaty

下一篇:paper2gui

同类项目推荐

langchain 开源

组装 AI 应用的乐高积木,从想法到上线不换工具

The agent engineering platform.

★ 146874 2026-08-09
transformers 开源

全球最大的模型仓库全家桶,想用的模型一把抓

Transformers: the model-definition framework for state-of-the-art machine learning m···

★ 166529 2026-08-09
pi 开源

一套 TypeScript 工具包,快速搭出能写代码的 AI agent

AI agent toolkit: unified LLM API, agent loop, TUI, coding agent CLI

★ 108504 2026-09-12