
Tacotron-2
用 TensorFlow 复现 DeepMind 端到端语音合成,一键训练出自然语音
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2321
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Python 环境(项目开发语言为 Python)
- TensorFlow 框架(技术栈标注为 tensorflow)
- 按 README 的 Repository Structure 准备 datasets 数据集目录(如 LJSpeech-1.1/wavs)
- 按结构准备 logs-Tacotron、logs-Wavenet、logs-Tacotron-2 日志与权重目录
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取 Tacotron-2 源码到本地,后续所有目录结构均以该仓库根目录为基准。
git clone https://github.com/Rayhane-mamah/Tacotron-2.git -
2整理数据集目录
照 README 的 Repository Structure,在 datasets 下准备 LJSpeech-1.1/wavs、en_US、en_UK 等目录并放入音频数据。
-
3选择超参数文件
README 说明 hparams.py 为默认配置(含额外改进),paper_hparams.py 用于复现论文原始结果,按需切换。
-
4准备权重日志目录
按结构保留 logs-Tacotron-2 下的 taco_pretrained、wave_pretrained、metas、eval-dir、plots、wavs 等目录。
-
5运行训练或推理
README 未给出具体入口命令,需自行查阅仓库内代码与文档后运行,输出会写入 logs-* 目录。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
hparams.py | 否 | 默认超参数文件,含论文之外的改进,多数情况效果更好 | hparams.py |
paper_hparams.py | 否 | 论文原始超参数,用于严格复现论文结果 | paper_hparams.py |
logs-Tacotron-2/taco_pretrained | 否 | Tacotron 模型预训练权重存放目录 | logs-Tacotron-2/taco_pretrained |
logs-Tacotron-2/wave_pretrained | 否 | WaveNet 声码器预训练权重存放目录 | logs-Tacotron-2/wave_pretrained |
如何确认成功
确认 datasets 与 logs-Tacotron-2 等目录结构齐全,且训练或推理产物出现在 logs-* 下。
常见问题
Q:该用哪个超参数文件?
A:默认使用 hparams.py,它包含作者添加的额外改进;若要严格复现论文结果,改用 paper_hparams.py。
Q:必须自己从头训练吗?
A:README 的目录结构中包含 taco_pretrained、wave_pretrained 等权重目录,可先确认仓库是否已带可用权重再决定是否训练。
Q:README 里为什么没有安装命令?
A:README 主要给出模型说明、超参数文件差异与仓库目录结构,未列出 pip/conda 安装步骤,需自行查阅代码依赖。
Q:支持中文语音合成吗?
A:README 展示的数据集结构只有 en_UK、en_US、LJSpeech-1.1 等英文数据,未提及中文支持。
注意事项
- README 未提供安装、训练、推理的具体命令,本教程步骤依据其目录结构推断,请以仓库实际代码为准。
- Tacotron-2 训练需大量算力和时间,建议先确认硬件条件。
- hparams.py 与 paper_hparams.py 参数不同,切换后会明显影响训练结果,README 提示差异稍后会在文档中标注。
核心亮点
- 忠实实现原论文架构,代码结构清晰,便于对照学习
- 提供预训练模型,可直接合成语音,快速体验效果
- 支持自定义数据集训练,灵活适配不同语言和说话人
不足之处
- 训练耗时较长,对GPU资源要求高
- 文档和社区维护不够活跃,依赖旧版TensorFlow
适用场景
- 学术研究:复现TTS论文,进行算法改进实验
- 语音合成应用开发:构建自定义语音助手或有声内容生成
- 教学演示:理解端到端语音合成原理
替代项目
Coqui TTS、ESPnet-TTS、Mozilla TTS
上一篇:hifi-gan
下一篇:VieNeu-TTS
同类项目推荐
sayit
开源
Mac 本地把文字变语音,不联网不上传
Private, local text-to-speech for Apple silicon Macs
GSV-TTS-Lite
开源
让 GPT-SoVITS 语音克隆跑得更快,部署更简单
GSV-TTS-Lite A high-performance inference engine specifically designed for the GPT-S···
awesome-ai-music-generation
开源
一网打尽AI音乐生成工具,快速找到你需要的创作利器。
A curated compilation of AI-driven generative music resources and projects. Explore ···
FlexiCodec
开源
低帧率下也能保真,让音频编解码更灵活高效
[ICLR2026] FlexiCodec: A Dynamic Neural Audio Codec for Low Frame Rates
MARS5-TTS
开源
几秒音频克隆音色,生成富有情感的语音
MARS5 speech model (TTS) from CAMB.AI
VibeVoice-ComfyUI
开源
在 ComfyUI 里拖拽节点,一键生成高质量多角色语音
A comprehensive ComfyUI integration for Microsoft's VibeVoice text-to-speech model, ···
Tacotron
开源
长文本语音合成不掉字,PyTorch 实现 Tacotron
A PyTorch implementation of Location-Relative Attention Mechanisms For Robust Long-F···
vox-box
开源
一键部署 OpenAI 兼容语音服务,自由切换 TTS/STT 引擎
A text-to-speech and speech-to-text server compatible with the OpenAI API, supportin···
Vocello
开源
在 Apple 芯片上离线快速生成语音,保护隐私,无需联网。
Vocello: a private voice studio for Apple Silicon. Write a script, pick or describe ···