Transformer-TTS
用 Transformer 替代 RNN，快速训练语音合成模型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 695
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- Python 3.6 左右
- 自己的语音语料
- GPU 更佳
安装与启动步骤
-
1确认年代
早期 Transformer 结构的语音合成实现，依赖版本偏旧。
-
2建旧版环境
按当年的 TensorFlow 或 PyTorch 版本建环境，新版直接跑会报 API 变更。
-
3准备语料
文本与音频要严格对齐，采样率统一后再训练。
-
4训练与合成
先小步数确认 loss 正常，再合成试听。
pip install -r requirements.txt
如何确认成功
训练 loss 下降，能合成出可听的音频
注意事项
- 老项目的工程价值有限，学习结构可以，生产建议用现成 TTS。
- 语料量太小合成的音质会明显发闷。
核心亮点
- 纯 PyTorch 实现，代码结构清晰，适合学习 Transformer 在 TTS 中的应用
- 内置注意力图可视化，直观展示文本与语音的对齐过程
- 提供预训练模型和合成样本，可快速体验效果
不足之处
- 仅支持英文，且依赖外部工具提取文本音素，使用门槛较高
- 模型为早期版本，合成语音自然度不如现代 TTS 系统
- 文档/社区待观察
适用场景
- 学术研究：复现论文，理解 Transformer 在语音合成中的机制
- 教学演示：用于讲解注意力机制和端到端 TTS 流程
- 基线对比：作为并行 TTS 模型的对比基线
替代项目
Tacotron2、FastSpeech、Tacotron
上一篇：voicebox-pytorch
下一篇：voice-builder
同类项目推荐
WaveGrad
开源
用扩散模型快速生成高保真语音波形，一步到位
Implementation of WaveGrad high-fidelity vocoder from Google Brain in PyTorch.
sea-g2p
开源
快速搞定印尼语、泰语、越南语文本转音素，助力 TTS 更地道。
Fast multilingual text-to-phoneme converter for South East Asian languages.
AudioSmith
开源
Mac 上本地搞定转录、配音和声音克隆
Speech, voices, stories, audiobooks, dubbing and transcription, made on your Mac. Fr···
video-bgm-generation
开源
根据视频内容自动生成匹配的背景音乐，省时又专业
[ACM MM 2021 Best Paper Award] Video Background Music Generation with Controllable M···
PyThaiTTS
开源
用 Python 快速生成自然泰语语音，离线可用
Open Source Thai Text-to-speech library in Python
T5Gemma-TTS
开源
上传一段语音，即刻克隆音色并生成多语言自然语音。
Multilingual TTS model with voice cloning and duration control, based on T5Gemma enc···
ebook2audiobookpiper-tts
开源
一键把电子书变成有声书，支持多语言，Docker 部署即用
Converts ebooks into audiobooks with piper-tts
PL-BERT
开源
用音素级 BERT 让 TTS 说话更自然，韵律更生动。
Phoneme-Level BERT for Enhanced Prosody of Text-to-Speech with Grapheme Predictions
praises
开源
把文字变成语音，轻松听书、配音、学外语。
Praises is a text-to-speech tool that can help you read text easily.