tacotron

用 TensorFlow 复现经典端到端语音合成,从文本直接生成语音

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 426 🐛 待处理 85 👀 关注 120
GitHub ↗
GitHub 星标 ★ 1834
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可自由使用和部署,无付费版本。

项目预览

tacotron 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队Kyubyong
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型speech,speech-synthesis-model,tensorflow,tts
GitHub 星标★ 1834
上线时间2017-05-16 00:00:00
代码更新2022-01-17
仓库体积10.9 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

Tacotron 是一个基于 TensorFlow 实现的端到端文本转语音(TTS)模型,源自谷歌的论文《Tacotron: A Fully End-to-End Text-To-Speech Synthesis Model》。它解决了传统 TTS 系统需要复杂管线(如文本分析、音素对齐、声学模型、波形拼接)的问题,直接用神经网络将文本序列映射为线性频谱图,再通过 Griffin-Lim 算法重建语音波形。核心能力包括:字符级输入、注意力机制自动对齐、自回归解码生成频谱、支持多种超参数调节。项目提供了完整的训练和合成脚本,适合研究者复现实验或开发者快速搭建 TTS 原型。虽然音质不如现代 WaveNet 或 Tacotron 2,但作为早期端到端 TTS 的经典实现,对理解 TTS 原理和入门深度学习语音合成有重要参考价值。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1834

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 5 步

环境要求

  • Python 环境(项目为 Python 实现)
  • NumPy >= 1.11.1
  • TensorFlow >= 1.3
  • librosa、tqdm、matplotlib、scipy
  • 语音数据集:LJ Speech Dataset(或自备数据)

安装与启动步骤

  1. 1获取项目代码

    把仓库克隆到本地,进入项目目录后再做后续操作。

    git clone https://github.com/Kyubyong/tacotron
    cd tacotron
  2. 2安装依赖库

    README 的 Requirements 列出这几个包:NumPy、TensorFlow、librosa、tqdm、matplotlib、scipy。

    pip install numpy tensorflow librosa tqdm matplotlib scipy
  3. 3准备语音数据

    下载 LJ Speech Dataset(约 24 小时英文语音)作为训练数据;README 说明也可用自备数据或 Nick Offerman 有声书、World English Bible。

  4. 4调整超参数

    README 的 Training 章节 STEP 1 要求先调整超参数(hparams),请对照仓库 README 修改后再继续。

  5. 5开始训练

    按 README 的 Training 章节步骤执行训练;该章节节选不完整,具体命令请以仓库 README 为准。

如何确认成功

按 README Training 章节执行后,终端能持续输出训练日志/损失信息,即表示流程已跑通。

常见问题

Q:必须用哪个数据集?

A:README 使用三个数据集:LJ Speech Dataset(公开、约 24 小时,常用基准)、Nick Offerman 有声书(约 18 小时)、World English Bible(约 72 小时)。也可以准备自己的数据。

Q:LJ Speech Dataset 在哪里下载?

A:README 给出的地址是 https://keithito.com/LJ-Speech-Dataset/,从该页面获取数据。

Q:依赖装不上怎么办?

A:项目要求 TensorFlow >= 1.3,属较老版本,建议在独立虚拟环境或对应的旧版 Python 环境中安装,避免与新版 TensorFlow 冲突。

Q:训练大概要多久?

A:README 未给出训练时长;数据集本身从 18 小时到 72 小时不等,训练耗时取决于数据和硬件(GPU 更合适)。

注意事项

  • README 未给出完整安装与训练命令,训练相关命令请以仓库完整 README 为准。
  • Requirements 要求 TensorFlow >= 1.3,安装前先确认版本,建议使用虚拟环境隔离。
  • 数据集需自行下载并按 README 要求放置,README 未提供自动下载脚本。
  • 项目为论文复现性质,音质与现代 TTS 模型存在差距。

核心亮点

  • 完整实现 Tacotron 论文,包含注意力机制和 Griffin-Lim 波形重建
  • 提供预训练模型和合成脚本,开箱即用生成语音
  • 代码结构清晰,便于学习端到端 TTS 训练流程

不足之处

  • 音质受限于 Griffin-Lim,不如 WaveNet 等神经声码器
  • 训练速度慢,且依赖旧版 TensorFlow 1.x,环境配置复杂
  • 文档/社区待观察

适用场景

  • 学术研究:复现经典 TTS 模型,对比不同架构
  • 教学演示:展示端到端语音合成原理
  • 轻量级 TTS 原型开发:快速生成语音用于测试

替代项目

Tacotron 2、FastSpeech、WaveNet

上一篇:bot-whatsapp

下一篇:RealTimeSingingSynthesizer

同类项目推荐

FCH-TTS 开源

六语种快速语音合成,实时交互不卡顿

A fast Text-to-Speech (TTS) model. Work well for English, Mandarin/Chinese, Japanese···

★ 285 2026-08-09
theDAW 开源

一个工具搞定编曲、打碟和视觉,还能用 AI 生成音乐

Full-featured DAW, DJ, and VJ app interoperable w/Ableton, Reaper, Resolume & more. ···

★ 235 2026-08-09
CycleGAN-VC3 开源

无需平行语料,一键转换声音风格

Voice Conversion by CycleGAN (语音克隆/语音转换):CycleGAN-VC3

★ 157 2026-08-09
omnivoice.cpp 开源

本地离线跑语音克隆与设计,646 语言 CPU 也能出声

Local AI text-to-speech with voice cloning and voice design, powered by GGML. C++17 ···

★ 209 2026-10-01
tts-react 开源

在 React 里一句话搞定文字转语音,轻松实现播报功能

Convert text to speech using React.

★ 66 2026-08-09
Pandrator 开源

把 PDF 和视频一键变成带克隆声音的有声书和译制片

Turn PDFs and EPUBs into audiobooks; subtitles or videos into dubbed videos (includi···

★ 647 2026-08-09
Multilingual_Text_to_Speech 开源

一个模型搞定多语言混合语音合成,还能克隆声音

An implementation of Tacotron 2 that supports multilingual experiments with paramete···

★ 843 2026-08-09
Higgs_v3-TTS-ComfyUI 开源

在 ComfyUI 里拖拽生成百种语言、可克隆声音的对话式语音。

ComfyUI nodes for higgs-audio-v3-tts-4b multilingual (100 languages) conversational ···

★ 75 2026-08-09
tortoise.cpp 开源

在本地 CPU 上快速跑通 tortoise-tts,无需 GPU 也能语音合成。

A ggml (C++) re-implementation of tortoise-tts

★ 191 2026-08-09