Transformer-TTS

用 Transformer 替代 RNN，快速训练语音合成模型

Transformer-TTS 是一个基于 PyTorch 实现的文本转语音（TTS）项目，对应论文《Neural Speech Synthesis with Transformer Network》。它用 Transformer 架构替代了传统 Tacotron 中的循环神经网络，解决了 RNN 在长序列建模中训练慢、难以并行的问题。项目实现了从文本到梅尔频谱的端到端生成，包含注意力机制的可视化工具，方便研究者理解模型的对齐过程。核心能力包括：基于多头注意力的编码器-解码器结构、位置编码、以及用于稳定训练的引导注意力损失。它适合作为学习 Transformer 在语音合成中应用的参考实现，也为后续的 FastSpeech 等并行 TTS 模型奠定了基础。

开源 free 音频音乐

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 694

维护状态低维护

是否开源是

定价模式 free

项目数据

分类音频音乐

开发团队soobinseo

所属国家

官网地址

GitHubhttps://github.com/soobinseo/Transformer-TTS

定价模式free

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型attention-mechanism,attention-plots,deep-learning,pytorch,pytorch-implementation,text-to-speech,transformer,tts

GitHub 星标★ 694

30天Star增速

HF 下载量

上线时间2019-03-20 00:00:00

最近更新2026-09-18 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

核心亮点

纯 PyTorch 实现，代码结构清晰，适合学习 Transformer 在 TTS 中的应用
内置注意力图可视化，直观展示文本与语音的对齐过程
提供预训练模型和合成样本，可快速体验效果

不足之处

仅支持英文，且依赖外部工具提取文本音素，使用门槛较高
模型为早期版本，合成语音自然度不如现代 TTS 系统
文档/社区待观察

适用场景

学术研究：复现论文，理解 Transformer 在语音合成中的机制
教学演示：用于讲解注意力机制和端到端 TTS 流程
基线对比：作为并行 TTS 模型的对比基线

替代项目

Tacotron2、FastSpeech、Tacotron

项目介绍

Transformer-TTS 是音频音乐领域的开源项目，由 soobinseo 开发，2019 年首次发布。

它收录于音频音乐分类，该分类目前共有 738 个项目，GitHub 星标数为 694。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-18。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：学术研究：复现论文，理解Transformer在语音合成中的机制。同类可对比的替代方案包括 Tacotron2、FastSpeech、Tacotron。

上一篇：voicebox-pytorch

下一篇：voice-builder