DiffSynth-Studio

一套框架跑通主流扩散模型，训练推理都省心

开源 free 图像生成

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 13241

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类图像生成

开发团队modelscope

所属国家

官网地址

GitHubhttps://github.com/modelscope/DiffSynth-Studio

定价模式free

价格说明开源免费，Apache-2.0 许可证

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型

GitHub 星标★ 13241

30天Star增速

HF 下载量

上线时间2023-12-07 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-15

浏览次数0

项目介绍

DiffSynth-Studio 是 ModelScope 团队开源的扩散模型工程化工具箱，目标是把视频、图像、音频等扩散模型的训练与推理流程统一到一套易用框架中。它解决的核心问题是：扩散模型生态碎片化，不同模型（如 FLUX、Stable Diffusion、CogVideoX、Wan 等）各自有独立代码和依赖，用户难以快速上手、微调或部署。项目提供统一模型加载接口、LoRA 与全量微调脚本、显存优化（如分层加载、量化）、视频生成与编辑流水线，并支持 ComfyUI 风格的工作流。核心能力包括：一键跑通文生图/文生视频、图像到视频、视频编辑、模型蒸馏与加速，以及丰富的预训练权重和示例。它适合研究者、开发者和内容创作者快速实验和落地扩散模型应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度：进阶约 10 分钟部署方式：本地安装 6 步

环境要求

Python 环境（README 未指定具体版本）
pip 包管理工具
Git，用于克隆源码仓库
可访问 ModelScope 或 HuggingFace 的网络（用于下载模型）
支持扩散模型推理的 GPU（非 NVIDIA GPU 另有安装指南）

安装与启动步骤

1克隆代码仓库

从 GitHub 克隆 DiffSynth-Studio 源码到本地，需保证网络可访问 GitHub。
```
git clone https://github.com/modelscope/DiffSynth-Studio.git
```
2进入项目目录

切换到刚克隆下来的 DiffSynth-Studio 目录，后续命令都在此目录执行。
```
cd DiffSynth-Studio
```
3源码安装依赖

README 推荐的安装方式，以可编辑模式安装项目及其依赖，需等待 pip 完成解析。
```
pip install -e .
```
4配置下载源(可选)

海外用户可把模型下载源切换到 ModelScope 国际站；中国用户通常无需设置。
```
export MODELSCOPE_ENDPOINT=https://modelscope.ai
```
5切换HuggingFace源(可选)

如需从 HuggingFace 下载模型，设置该环境变量，注意模型 ID 在不同平台可能不同。
```
export DIFFSYNTH_DOWNLOAD_SOURCE="huggingface"
```
6查阅详细安装指南

非 NVIDIA GPU 或其他安装方式，README 指向官方安装文档，需自行按文档操作。

关键配置

配置项	必填	说明	示例
`MODELSCOPE_ENDPOINT`	否	指定 ModelScope 下载站点，海外用户设为国际站以加速模型下载	`https://modelscope.ai`
`DIFFSYNTH_DOWNLOAD_SOURCE`	否	指定模型下载来源，设为 huggingface 时从 HuggingFace 下载模型	`huggingface`

如何确认成功

pip install -e . 执行无报错即安装完成；再按官方文档运行推理示例，能正常加载模型即成功。

常见问题

Q：非 NVIDIA GPU 怎么安装？

A：README 说明请参考官方安装指南 docs/en/Pipeline_Usage/Setup.md，其中包含非 NVIDIA GPU 的安装说明。

Q：国内下载模型慢或失败怎么办？

A：项目默认从 ModelScope 下载模型。可确认网络可访问 ModelScope，或参考环境变量文档调整下载源与相关配置。

Q：如何改用 HuggingFace 下载模型？

A：执行 export DIFFSYNTH_DOWNLOAD_SOURCE="huggingface"。注意模型 ID 在不同平台可能不同，需使用对应的模型 ID。

Q：显存不够怎么跑大模型？

A：README 提供 VRAM 管理能力，可在磁盘、内存和显存之间动态调度模型参数，具体用法见官方 VRAM_management 文档。

注意事项

README 未给出 Python 版本要求，建议使用较新的 Python 环境并按安装文档确认。
项目默认从 ModelScope 下载模型，海外用户可切换到 ModelScope 国际站。
模型 ID 在 ModelScope 与 HuggingFace 之间可能不同，切换下载源时需注意。
README 还提供了参数量化、显存管理等文档，低显存设备建议先阅读官方指南。

核心亮点

统一接口支持 FLUX、SD、CogVideoX、Wan 等主流扩散模型，切换成本低
提供 LoRA 微调、全量训练、模型蒸馏等完整训练脚本，开箱即用
内置显存优化与量化方案，消费级显卡也能跑视频生成

不足之处

文档以中文为主，英文资料和社区问答相对较少
部分高级功能依赖 ModelScope 生态，与 Hugging Face 工作流衔接不够顺滑

适用场景

快速体验和对比不同文生图/文生视频模型效果
用自己的数据集对扩散模型做 LoRA 微调
在有限显存下部署视频生成或图像编辑应用

替代项目

diffusers、ComfyUI

上一篇：gcc-creative-studio

下一篇：swift-diffusion