
tacotron
用 TensorFlow 复现经典端到端语音合成,从文本直接生成语音
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1834
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境(项目为 Python 实现)
- NumPy >= 1.11.1
- TensorFlow >= 1.3
- librosa、tqdm、matplotlib、scipy
- 语音数据集:LJ Speech Dataset(或自备数据)
安装与启动步骤
-
1获取项目代码
把仓库克隆到本地,进入项目目录后再做后续操作。
git clone https://github.com/Kyubyong/tacotron cd tacotron -
2安装依赖库
README 的 Requirements 列出这几个包:NumPy、TensorFlow、librosa、tqdm、matplotlib、scipy。
pip install numpy tensorflow librosa tqdm matplotlib scipy -
3准备语音数据
下载 LJ Speech Dataset(约 24 小时英文语音)作为训练数据;README 说明也可用自备数据或 Nick Offerman 有声书、World English Bible。
-
4调整超参数
README 的 Training 章节 STEP 1 要求先调整超参数(hparams),请对照仓库 README 修改后再继续。
-
5开始训练
按 README 的 Training 章节步骤执行训练;该章节节选不完整,具体命令请以仓库 README 为准。
如何确认成功
按 README Training 章节执行后,终端能持续输出训练日志/损失信息,即表示流程已跑通。
常见问题
Q:必须用哪个数据集?
A:README 使用三个数据集:LJ Speech Dataset(公开、约 24 小时,常用基准)、Nick Offerman 有声书(约 18 小时)、World English Bible(约 72 小时)。也可以准备自己的数据。
Q:LJ Speech Dataset 在哪里下载?
A:README 给出的地址是 https://keithito.com/LJ-Speech-Dataset/,从该页面获取数据。
Q:依赖装不上怎么办?
A:项目要求 TensorFlow >= 1.3,属较老版本,建议在独立虚拟环境或对应的旧版 Python 环境中安装,避免与新版 TensorFlow 冲突。
Q:训练大概要多久?
A:README 未给出训练时长;数据集本身从 18 小时到 72 小时不等,训练耗时取决于数据和硬件(GPU 更合适)。
注意事项
- README 未给出完整安装与训练命令,训练相关命令请以仓库完整 README 为准。
- Requirements 要求 TensorFlow >= 1.3,安装前先确认版本,建议使用虚拟环境隔离。
- 数据集需自行下载并按 README 要求放置,README 未提供自动下载脚本。
- 项目为论文复现性质,音质与现代 TTS 模型存在差距。
核心亮点
- 完整实现 Tacotron 论文,包含注意力机制和 Griffin-Lim 波形重建
- 提供预训练模型和合成脚本,开箱即用生成语音
- 代码结构清晰,便于学习端到端 TTS 训练流程
不足之处
- 音质受限于 Griffin-Lim,不如 WaveNet 等神经声码器
- 训练速度慢,且依赖旧版 TensorFlow 1.x,环境配置复杂
- 文档/社区待观察
适用场景
- 学术研究:复现经典 TTS 模型,对比不同架构
- 教学演示:展示端到端语音合成原理
- 轻量级 TTS 原型开发:快速生成语音用于测试
替代项目
Tacotron 2、FastSpeech、WaveNet
同类项目推荐
FCH-TTS
开源
六语种快速语音合成,实时交互不卡顿
A fast Text-to-Speech (TTS) model. Work well for English, Mandarin/Chinese, Japanese···
theDAW
开源
一个工具搞定编曲、打碟和视觉,还能用 AI 生成音乐
Full-featured DAW, DJ, and VJ app interoperable w/Ableton, Reaper, Resolume & more. ···
CycleGAN-VC3
开源
无需平行语料,一键转换声音风格
Voice Conversion by CycleGAN (语音克隆/语音转换):CycleGAN-VC3
omnivoice.cpp
开源
本地离线跑语音克隆与设计,646 语言 CPU 也能出声
Local AI text-to-speech with voice cloning and voice design, powered by GGML. C++17 ···
tts-react
开源
在 React 里一句话搞定文字转语音,轻松实现播报功能
Convert text to speech using React.
Pandrator
开源
把 PDF 和视频一键变成带克隆声音的有声书和译制片
Turn PDFs and EPUBs into audiobooks; subtitles or videos into dubbed videos (includi···
Multilingual_Text_to_Speech
开源
一个模型搞定多语言混合语音合成,还能克隆声音
An implementation of Tacotron 2 that supports multilingual experiments with paramete···
Higgs_v3-TTS-ComfyUI
开源
在 ComfyUI 里拖拽生成百种语言、可克隆声音的对话式语音。
ComfyUI nodes for higgs-audio-v3-tts-4b multilingual (100 languages) conversational ···
tortoise.cpp
开源
在本地 CPU 上快速跑通 tortoise-tts,无需 GPU 也能语音合成。
A ggml (C++) re-implementation of tortoise-tts