diffwave

用扩散模型快速生成高保真语音波形,让 TTS 更自然高效。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 131 🐛 待处理 14 👀 关注 18
GitHub ↗
GitHub 星标 ★ 889
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用和修改,无付费版本。

项目预览

diffwave 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队lmnt-com
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用和修改,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型deep-learning,diffwave,machine-learning,neural-network,paper,pretrained-models,pytorch,speech,speech-synthesis,text-to-speech,tts,vocoder
GitHub 星标★ 889
上线时间2020-09-23 00:00:00
代码更新2024-03-26
仓库体积21 KB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

DiffWave 是一个基于扩散概率模型的神经声码器与波形合成器,由 Google Brain 团队提出,用于从梅尔频谱等条件特征高效生成高质量语音波形。它解决了传统神经声码器(如 WaveNet)生成速度慢、训练复杂的问题,通过非自回归的扩散生成过程,在保持高音质的同时实现快速并行合成。核心能力包括:支持无条件与条件波形生成,适用于文本转语音(TTS)的声码器环节;提供预训练模型,可快速集成到语音合成流程中;采用 Pytorch 实现,代码结构清晰,便于研究二次开发。DiffWave 在语音合成领域具有里程碑意义,为后续扩散模型在音频生成中的应用奠定了基础。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 889

使用教程

难度:进阶 约 30 分钟 部署方式:本地 GPU 4 步

环境要求

  • Python 3.8+
  • GPU(训练建议有)

安装与启动步骤

  1. 1装包

    DiffWave 是语音合成的扩散模型实现,pip 装完即可调用。

    pip install diffwave
  2. 2预处理音频

    先把 wav 目录统一采样率并切成短片段,产出训练用的 numpy 缓存。

    python -m diffwave.preprocess /path/to/dir/containing/wavs
  3. 3训练

    给模型目录与音频目录即可开训,单卡也能跑,慢但可用。

    python -m diffwave /path/to/model/dir /path/to/dir/containing/wavs
  4. 4快速推理

    用预训练模型对梅尔谱反演波形,--fast 采样步数更少。

    python -m diffwave.inference --fast /path/to/model /path/to/spectrogram -o output.wav

如何确认成功

输出 wav 可播放,频谱与输入对齐。

注意事项

  • 自己训练需要几小时语音数据,只做推理用官方权重即可。

核心亮点

  • 非自回归扩散架构,生成速度远超 WaveNet 等自回归模型
  • 音质接近甚至超越主流神经声码器,且训练稳定
  • 提供预训练模型与清晰 PyTorch 实现,易于复现和集成

不足之处

  • 推理速度虽快但实时性仍受限于迭代步数,需权衡音质
  • 文档/社区待观察

适用场景

  • 文本转语音系统中的声码器环节
  • 语音克隆与声音转换的波形生成
  • 音频生成研究中的扩散模型基线

替代项目

WaveNet、HiFi-GAN、MelGAN

上一篇:NaturalVoiceSAPIAdapter

下一篇:bark.cpp

同类项目推荐

Transformer-TTS 开源

用 Transformer 替代 RNN,快速训练语音合成模型

A Pytorch Implementation of "Neural Speech Synthesis with Transformer Network"

★ 695 2026-08-09
editts 开源

用扩散模型精准编辑语音,改音高语速不动原声

Official implementation of EdiTTS: Score-based Editing for Controllable Text-to-Spee···

★ 122 2026-08-09
SoundStorm-pytorch 开源

并行音频生成,让语音合成快数倍

Google's SoundStorm: Efficient Parallel Audio Generation

★ 131 2026-08-09
QuickPiperAudiobook 开源

一条命令,把电子书变成自然流畅的有声书

With one command, create a natural-sounding audiobook from a variety of input format···

★ 1061 2026-08-09
tacotron2 开源

多说话人+情感语音合成,一键生成个性化语音

Multispeaker & Emotional TTS based on Tacotron 2 and Waveglow

★ 130 2026-08-09
fish-audio-python 开源

几行代码接入 Fish Audio,快速实现文本转语音和声音克隆。

The official Python library for the Fish Audio API.

★ 232 2026-08-09
SummerTTS 开源

一键编译,离线运行,零依赖的中英文语音合成。

SummerTTS 是一个基于C++的独立编译的中文和英文语音合成项目,可以本地运行不需要网络,而···

★ 545 2026-08-09
voicevox_engine 开源

本地跑日文语音合成,多角色音色随调随用

無料で使える中品質なテキスト読み上げソフトウェア、VOICEVOXの音声合成エンジン

★ 1778 2026-10-27
neoscore 开源

用代码画出任意乐谱,图形控制随心所欲

A python library for notating music in a graphics-first paradigm

★ 122 2026-08-09