gmvae_tacotron

用高斯混合潜变量提升语音韵律表现力，生成更自然的合成语音

gmvae_tacotron 是一个基于高斯混合变分自编码器（GM-VAE）与 Tacotron 结合的语音合成实验项目。它旨在解决传统 Tacotron 在韵律建模上的不足，通过引入高斯混合潜变量来捕捉语音中更丰富的韵律变化，从而生成更具表现力和自然度的语音。项目核心能力包括：利用 VAE 的潜空间建模能力对语音韵律进行细粒度控制，结合 Tacotron 的序列到序列架构实现文本到梅尔频谱的转换，并支持对合成语音的韵律风格进行调节。该实现基于 Python，主要依赖 TensorFlow 等深度学习框架，代码结构清晰，适合作为语音合成研究方向的参考实现。尽管项目处于早期阶段，但为探索韵律建模提供了新的思路。

开源 free 音频音乐

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 54

维护状态低维护

是否开源是

定价模式 free

项目数据

分类音频音乐

开发团队rishikksh20

所属国家

官网地址

GitHubhttps://github.com/rishikksh20/gmvae_tacotron

定价模式free

价格说明开源项目，MIT许可证，完全免费，无付费版本。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型tacotron,tacotron-2,tts

GitHub 星标★ 54

30天Star增速

HF 下载量

上线时间2019-02-09 00:00:00

最近更新2026-03-17 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

创新性地将高斯混合 VAE 引入 Tacotron，针对韵律建模这一痛点提出新方案
代码结构清晰，便于研究者快速理解并复现实验
提供了对合成语音韵律风格的调节能力，扩展了 Tacotron 的灵活性

不足之处

项目处于早期阶段，文档和示例较少，上手门槛较高
未提供预训练模型或完整训练指南，复现成本较大

适用场景

语音合成研究中探索韵律建模的新方法
需要生成具有特定情感或风格语音的 TTS 系统开发
作为 VAE 与序列生成模型结合的学术实验平台

替代项目

Tacotron 2、FastSpeech、VALL-E

项目介绍

gmvae_tacotron 是音频音乐领域的开源项目，由 rishikksh20 开发，2019 年首次发布。

它收录于音频音乐分类，该分类目前共有 738 个项目，GitHub 星标数为 54。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-03-17。MIT许可证，完全免费，无付费版本。

它主要面向的使用场景是：语音合成研究中探索韵律建模的新方法。同类可对比的替代方案包括 Tacotron 2、FastSpeech、VALL-E。

上一篇：TurkicTTS

下一篇：tacotron2-mandarin