项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 651
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- GPU 8G 显存以上
- LJSpeech 或自建语音数据
- librosa 等音频依赖
安装与启动步骤
-
1拉代码装依赖
非官方实现,依赖版本按 requirements 来,别自己升级。
pip install -r requirements.txt -
2下语音数据集
官方常用 LJSpeech,单说话人、时长适中,适合先跑通。
-
3预处理成梅尔谱
训练前要把音频转成梅尔频谱,参数要和模型配置一致。
-
4训声码器
生成器加判别器联合训,先看能否过拟合一小批数据判断链路是否正确。
-
5用权重合成语音
拿训好的权重把梅尔谱还原成波形,先听是否清晰再谈自然度。
如何确认成功
用训好的权重能把梅尔谱还原成可听懂的波形,且无明显电流噪声
注意事项
- 这是非官方复现,与论文数字不具备可比性。
- 梅尔参数不匹配会让合成结果全是噪声,这是最常见的问题。
- 声码器只负责谱转波形,文本前端要另配。
核心亮点
- 非自回归架构,合成速度远超自回归声码器,可实时运行
- 多尺度判别器提升音频保真度,语音自然度高
- 与 NVIDIA Tacotron2 直接兼容,开箱即用
不足之处
- 早期项目,预训练模型仅针对特定说话人,泛化性有限
- 文档和社区支持相对薄弱,后续维护不活跃
适用场景
- 语音合成系统后端声码器,将 TTS 前端输出的频谱转为波形
- 实时语音交互场景,如语音助手、游戏配音
- 音频生成研究,作为 GAN 声码器的基线对比
替代项目
HiFi-GAN、Parallel WaveGAN、WaveGlow
同类项目推荐
Tacotron-pytorch
开源
用 PyTorch 快速上手 Tacotron,训练自己的语音合成模型
Pytorch implementation of Tacotron
PolyLangVITS
开源
一个模型搞定中英日韩语音合成,开箱即用
Multi-speaker Speech Synthesis Using VITS(KO, JA, EN, ZH)
Unitale
开源
浏览器里一键把剧本变成带音效和配图的有声书
一个基于Indextts和Qwen3TTS的 AI 有声书制作工具。利用 LLM 自动拆解剧本与识别情绪,集成···
mandarin-tts
开源
用FastSpeech 2快速搭建中文语音合成,轻松生成普通话音频。
Chinese Mandarin tts text-to-speech 中文 (普通话) 语音 合成 , by fastspeech 2 , imp···
radium
开源
图形化 tracker,像 DAW 一样拖音符,保留逐行编辑精度
A graphical music editor. A next generation tracker.
Dicy2
开源
在 Max 里用机器学习生成音乐序列,实现交互式创作
"Dicy2 for Max" is a Max package implementing interactive agents using machine-learn···
piper-plus
开源
一键安装的多语言流式 TTS,支持 6 种语言和多种硬件加速
Multilingual neural TTS (6 languages: JA/EN/ZH/ES/FR/PT, code supports SV) — C++, C···
Applio
开源
一键上传音频,轻松实现声音克隆与转换
A simple, high-quality voice conversion tool focused on ease of use and performance.
StyleSpeech
开源
一条参考语音,即刻克隆任意音色,快速合成个性化语音。
PyTorch Implementation of Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech G···
