
diffwave
用扩散模型快速生成高保真语音波形,让 TTS 更自然高效。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 889
使用教程
环境要求
- Python 3.8+
- GPU(训练建议有)
安装与启动步骤
-
1装包
DiffWave 是语音合成的扩散模型实现,pip 装完即可调用。
pip install diffwave -
2预处理音频
先把 wav 目录统一采样率并切成短片段,产出训练用的 numpy 缓存。
python -m diffwave.preprocess /path/to/dir/containing/wavs -
3训练
给模型目录与音频目录即可开训,单卡也能跑,慢但可用。
python -m diffwave /path/to/model/dir /path/to/dir/containing/wavs -
4快速推理
用预训练模型对梅尔谱反演波形,--fast 采样步数更少。
python -m diffwave.inference --fast /path/to/model /path/to/spectrogram -o output.wav
如何确认成功
输出 wav 可播放,频谱与输入对齐。
注意事项
- 自己训练需要几小时语音数据,只做推理用官方权重即可。
核心亮点
- 非自回归扩散架构,生成速度远超 WaveNet 等自回归模型
- 音质接近甚至超越主流神经声码器,且训练稳定
- 提供预训练模型与清晰 PyTorch 实现,易于复现和集成
不足之处
- 推理速度虽快但实时性仍受限于迭代步数,需权衡音质
- 文档/社区待观察
适用场景
- 文本转语音系统中的声码器环节
- 语音克隆与声音转换的波形生成
- 音频生成研究中的扩散模型基线
替代项目
WaveNet、HiFi-GAN、MelGAN
下一篇:bark.cpp
同类项目推荐
Transformer-TTS
开源
用 Transformer 替代 RNN,快速训练语音合成模型
A Pytorch Implementation of "Neural Speech Synthesis with Transformer Network"
editts
开源
用扩散模型精准编辑语音,改音高语速不动原声
Official implementation of EdiTTS: Score-based Editing for Controllable Text-to-Spee···
SoundStorm-pytorch
开源
并行音频生成,让语音合成快数倍
Google's SoundStorm: Efficient Parallel Audio Generation
QuickPiperAudiobook
开源
一条命令,把电子书变成自然流畅的有声书
With one command, create a natural-sounding audiobook from a variety of input format···
tacotron2
开源
多说话人+情感语音合成,一键生成个性化语音
Multispeaker & Emotional TTS based on Tacotron 2 and Waveglow
fish-audio-python
开源
几行代码接入 Fish Audio,快速实现文本转语音和声音克隆。
The official Python library for the Fish Audio API.
SummerTTS
开源
一键编译,离线运行,零依赖的中英文语音合成。
SummerTTS 是一个基于C++的独立编译的中文和英文语音合成项目,可以本地运行不需要网络,而···
voicevox_engine
开源
本地跑日文语音合成,多角色音色随调随用
無料で使える中品質なテキスト読み上げソフトウェア、VOICEVOXの音声合成エンジン
neoscore
开源
用代码画出任意乐谱,图形控制随心所欲
A python library for notating music in a graphics-first paradigm