vae_tacotron2

用VAE隐变量控制语音风格,让TTS更自然有表现力

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 29 🐛 待处理 10 👀 关注 5
GitHub ↗
GitHub 星标 ★ 91
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

vae_tacotron2 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队rishikksh20
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型speech-synthesis,tacotron,tacotron-2,tts,vae-tacotron,variational-autoencoder
GitHub 星标★ 91
上线时间2019-01-26 00:00:00
代码更新2023-07-06
仓库体积65 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

VAE Tacotron 2 是一个基于变分自编码器(VAE)的语音合成(TTS)模型,作为 GST Tacotron 的替代方案,旨在解决传统 Tacotron 2 在韵律和风格控制上的不足。它通过引入 VAE 隐变量来捕捉语音中的风格和韵律信息,使合成语音更加自然且富有表现力。项目基于 PyTorch 实现,包含完整的训练和推理流程,支持多说话人合成,并提供了预训练模型和中文/英文语料支持。核心能力包括:将风格特征编码为低维隐向量,实现风格迁移和可控合成;与 GST 相比,VAE 方法能更稳定地建模风格分布,且无需显式风格标签。该项目适合研究语音风格建模、低资源 TTS 定制,以及需要细粒度韵律控制的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 91

核心亮点

  • VAE隐变量建模风格,比GST更稳定且无需风格标签
  • 完整PyTorch实现,含训练、推理和预训练模型,上手快
  • 支持多说话人,便于扩展个性化语音合成

不足之处

  • 文档/社区待观察
  • 项目较早期,预训练模型覆盖语种有限

适用场景

  • 研究语音风格建模与韵律控制
  • 构建多说话人TTS系统
  • 低资源语种的语音合成定制

替代项目

GST Tacotron 2、Tacotron 2、FastSpeech 2

上一篇:tacotron2-mandarin

下一篇:tacotron

同类项目推荐

piper-rs 开源

在 Rust 中离线合成语音,轻松集成 Piper 模型。

Use piper TTS models in Rust

★ 67 2026-08-09
ChineseTtsTflite 开源

安卓离线中文语音合成,快速测试TFLite模型

Android Chinese TTS Engine Base On Tensorflow TTS , use for TfLite Models Test。安卓···

★ 415 2026-08-09
e2-tts-pytorch 开源

几行代码实现零样本语音克隆,让 TTS 不再复杂

Implementation of E2-TTS, "Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TT···

★ 520 2026-08-09
PolyLangVITS 开源

一个模型搞定中英日韩语音合成,开箱即用

Multi-speaker Speech Synthesis Using VITS(KO, JA, EN, ZH)

★ 75 2026-08-09
orpheus-tts-local 开源

用 LM Studio 在本地跑 Orpheus 3B,免费生成自然语音

Run Orpheus 3B Locally With LM Studio

★ 552 2026-08-09
generative.fm 开源

打开网页,聆听永不重复的算法生成音乐

A platform for playing generative music in the browser.

★ 1585 2026-08-09
LocalText2Voice 开源

本地一键把文字变成干净播客级音频,无需联网

Free open-source AI desktop app for audiobooks, podcasts, documentaries, films and a···

★ 411 2026-08-09
ChatTTS-OpenVoice 开源

上传10秒音频,克隆你的专属ChatTTS音色

Fuse ChatTTS with OpenVoice, upload a 10-second audio clip, and clone your personali···

★ 465 2026-08-09
MangoByte 开源

在 Discord 里一键播放 Dota 英雄台词,还能 TTS 整活

A discord bot that provides the ability to play dota hero response clips, do tts, an···

★ 95 2026-08-09