GST-Tacotron

给语音合成装上风格旋钮,一句话控制情感语调

GST-Tacotron 是一个基于 PyTorch 实现的端到端语音合成系统,核心是引入全局风格令牌(GST)机制,实现对语音风格的无监督建模、控制和迁移。它解决了传统 Tacotron 只能合成单一中性语音、无法灵活控制情感、语调等风格属性的问题。通过将参考音频编码为一组可学习的风格嵌入,模型能够自动捕捉语速、音高、情感等风格特征,并支持在合成时通过指定风格令牌或参考音频来调整输出语音的风格。项目包含完整的训练、合成和风格迁移示例代码,支持多说话人数据(如 LibriTTS),并提供了预训练模型和可视化工具,方便研究者快速复现和扩展。核心能力包括:无监督风格提取、风格控制(通过令牌权重调整)、跨说话人风格迁移。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 375
维护状态 低维护
是否开源
定价模式 free

项目数据

分类音频音乐
开发团队KinglittleQ
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型gst-tacotron,pytorch,tacotron,tts
GitHub 星标★ 375
30天Star增速
HF 下载量
上线时间2018-05-26 00:00:00
最近更新2026-09-12 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 首次将 GST 机制引入 Tacotron,实现无监督风格建模,无需人工标注风格标签
  • 支持风格令牌权重插值,可精细控制语速、情感等维度
  • 提供完整的训练、合成和迁移脚本,并附带预训练模型,上手门槛低

不足之处

  • 项目基于较早的 Tacotron 版本,未集成 WaveGlow 等神经声码器,音质受限
  • 文档和社区维护较少,依赖库较旧,在新环境上复现可能遇到兼容性问题

适用场景

  • 研究语音风格迁移和情感合成的学术实验
  • 构建可定制语音风格(如不同播报语气)的 TTS 原型
  • 教学演示端到端语音合成中的风格建模方法

替代项目

Tacotron2、FastSpeech2、VALL-E

项目介绍

GST-Tacotron 是音频音乐领域的开源项目,由 KinglittleQ 开发,2018 年首次发布。

它收录于音频音乐分类,该分类目前共有 738 个项目,GitHub 星标数为 375。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-12。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:研究语音风格迁移和情感合成的学术实验。同类可对比的替代方案包括 Tacotron2、FastSpeech2、VALL-E。

上一篇:CDFSE_FastSpeech2

下一篇:AutoVocoder

同类项目推荐

tango 开源

输入一句话,自动生成匹配的音频内容

A family of diffusion models for text-to-audio generation.

★ 1239 2026-08-09
AuK 开源

一个模型搞定语音生成、编辑与分离

AuK: An Open-Source Foundational Model for Speech Generation and Editing

★ 1236 2026-09-13
swift-tts 开源

Swift 项目三行代码接入系统 TTS,兼容 TCA 和 Combine

A straightforward package containing version for Swift modern concurrency, Point-Fre···

★ 52 2026-08-09
ai-dj 开源

现场演出中实时用 AI 生成音乐,保持人类掌控

AI music generation for live performance - Standalone (Ableton Link) + VST3/AU. 8 tr···

★ 245 2026-08-09