TransformerTTS

用 Transformer 并行合成语音,告别逐字慢速生成

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 222 🐛 待处理 50 ⚠️ 作者已归档(停止维护)
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1162
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,完全免费,需自行部署使用。

项目预览

TransformerTTS 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队spring-media
定价模式🏷️完全免费
价格说明开源项目,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型axelspringerai,deep-learning,python,tensorflow,text-to-speech,tts
GitHub 星标★ 1162
上线时间2020-03-26 00:00:00
代码更新2024-05-03
仓库体积26.0 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

TransformerTTS 是一个基于非自回归 Transformer 架构的文本转语音(TTS)开源实现,由 Axel Springer AI 团队开发。它解决了传统自回归 TTS 模型(如 Tacotron)推理速度慢、难以并行生成的问题。核心能力包括:使用 Transformer 的注意力机制直接并行生成梅尔频谱,显著提升合成速度;支持多说话人训练;提供完整的训练和推理流程。项目基于 TensorFlow 实现,代码结构清晰,适合研究非自回归 TTS 的入门参考。尽管项目已停止维护,但其提出的非自回归思路对后续 TTS 模型(如 FastSpeech)有启发意义。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1162

使用教程

难度:进阶 约 10 分钟 部署方式:本地安装 6 步

环境要求

  • Python >= 3.6
  • Linux 环境(espeak 用 apt-get 安装;macOS 用 brew)
  • TensorFlow 2(项目为 TF2 实现)
  • 可用的 TTS 训练数据集(如 LJSpeech)
  • pip 及 requirements.txt 中依赖

安装与启动步骤

  1. 1获取项目代码

    从 GitHub 克隆仓库并进入项目目录,后续命令都在该目录下执行。

    git clone https://github.com/spring-media/TransformerTTS.git
    cd TransformerTTS
  2. 2安装 espeak

    作为 phonemizer 的后端,Linux 用 apt-get 安装;macOS 请改用 brew 安装。

    sudo apt-get install espeak
  3. 3安装 Python 依赖

    在项目根目录执行,按 requirements.txt 安装全部 Python 依赖,耗时取决于网络。

    pip install -r requirements.txt
  4. 4编辑配置路径

    在 config/training_config.yaml 中把数据集和日志文件夹路径改成自己的实际路径,必改。

  5. 5选择配置模板

    默认配置生成 MelGAN/HiFiGAN 兼容模型;若需 WaveRNN 兼容,把 data_config_wavernn.yaml 内容替换进 training_config.yaml。

  6. 6查看脚本参数

    README 未列出训练/推理命令,需自行阅读各脚本源码获取命令行参数。

关键配置

配置项必填说明示例
training_config.yaml → 数据集路径是指向你的训练数据集目录,README 要求必须编辑(具体键名见文件)/your/path/to/LJSpeech-1.1
training_config.yaml → 日志文件夹路径是指向日志/模型输出目录,README 要求必须编辑(具体键名见文件)/your/path/to/logs

如何确认成功

README 未给出启动命令;依赖安装无报错,且配置好路径后脚本能正常读取数据。

常见问题

Q:macOS 上怎么装 espeak?

A:README 提示 macOS 使用 brew 安装 espeak,命令为 brew install espeak,而不是 apt-get。

Q:生成的模型能配哪些声码器?

A:预训练 LJSpeech 模型兼容 MelGAN 和 HiFiGAN;旧版本也支持 WaveRNN,需生成对应配置的模型。

Q:想快速用声码器推理怎么做?

A:README 指出可切换到 vocoding 分支(Vocoding branch)进行快速推理。

Q:训练和推理的命令在哪看?

A:README 未给具体命令,提示阅读各个脚本获取更多命令行参数,训练与模型设置写在 training_config.yaml。

注意事项

  • 项目已停止维护,仅适合作为非自回归 TTS 的研究参考。
  • README 未给出具体 YAML 键名,请在 config/training_config.yaml 中查找路径相关项。
  • 默认配置适配 MelGAN/HiFiGAN;要用 WaveRNN 需替换 data_config_wavernn.yaml 的内容。
  • README 未提供明确的启动/验证命令,需自行阅读脚本源码。

核心亮点

  • 非自回归架构,生成速度比自回归模型快数倍
  • 代码结构清晰,基于 TensorFlow,易于复现实验
  • 支持多说话人训练,提供预训练模型和采样音频

不足之处

  • 项目已停止维护,依赖旧版 TensorFlow 1.x,环境配置困难
  • 语音自然度不如自回归模型,存在发音错误
  • 文档和社区支持有限

适用场景

  • 学术研究:探索非自回归 TTS 架构
  • 快速原型验证:需要快速生成语音的场景
  • 教育学习:理解 Transformer 在 TTS 中的应用

替代项目

FastSpeech、Tacotron 2、ESPnet-TTS

上一篇:dia2

下一篇:Irodori-TTS

同类项目推荐

Bert-VITS2 开源

用BERT增强的VITS2,让语音合成更自然、多语言更流畅

vits2 backbone with multilingual-bert

★ 8801 2026-08-09
UnityTTS 开源

在 Unity 里一键让文字开口说话,快速集成 TTS 功能。

Text to Speech in Unity.

★ 144 2026-08-09
StyleTTS2 开源

音色情绪几乎以假乱真,听不出是机器在读

StyleTTS 2: Towards Human-Level Text-to-Speech through Style Diffusion and Adversari···

★ 6384 2026-08-09
midi2voice 开源

上传 MIDI,一键生成人声演唱,快速试听旋律效果。

Singing synthesis from MIDI file

★ 286 2026-08-09
bark.cpp 开源

用C++跑Bark模型,轻量快速本地生成语音

Suno AI's Bark model in C/C++ for fast text-to-speech generation

★ 869 2026-08-09
izabela-desktop 开源

全局打字即语音,游戏聊天不开口

A proof of concept text-to-speech application allowing global typing. Can be used ov···

★ 84 2026-08-09