ZeroSpeech-TTS-without-T

无需文本标注,直接从语音学习并合成语音,攻克低资源TTS难题。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 12 🐛 待处理 3 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 112
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

ZeroSpeech-TTS-without-T 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队andi611
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型adversarial-learning,asr,autoencoder,automatic-speech-recognition,gan,text-to-speech,tts,tts-without-t,zerospeech
GitHub 星标★ 112
上线时间2019-02-15 00:00:00
代码更新2019-11-12
仓库体积101.6 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

这是一个基于PyTorch的ZeroSpeech 2019挑战赛实现,旨在解决无文本标注的语音合成(TTS-without-T)问题。传统TTS需要文本转录作为中间监督,而该项目探索直接从原始语音学习语音表征并重建语音,绕开文本标注。核心能力包括:使用对抗学习(GAN)和自动编码器框架,结合ASR(自动语音识别)作为辅助任务,学习离散或连续的语音单元,并利用这些单元进行语音重建。项目提供了完整的训练和评估流程,支持ZeroSpeech 2019基准测试,适合研究低资源语音合成和自监督语音表征学习。它解决了低资源语言中文本标注昂贵、难以获取的痛点,为完全无监督的语音合成提供了可行方案。代码结构清晰,包含数据预处理、模型定义、训练脚本和评估工具,但项目处于早期阶段,文档和社区支持有限。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 112

核心亮点

  • 实现ZeroSpeech 2019挑战赛的完整基线,提供无文本TTS的参考方案
  • 融合GAN、自编码器与ASR辅助任务,多任务学习提升语音表征质量
  • 基于PyTorch,代码模块化,便于二次开发和实验扩展

不足之处

  • 项目处于早期阶段,文档和社区支持待观察
  • 依赖ZeroSpeech 2019数据集,泛化到其他语种或场景需额外适配

适用场景

  • 低资源语言的语音合成研究,无需文本标注
  • 自监督语音表征学习,用于语音生成或识别预训练
  • 学术研究,复现ZeroSpeech挑战赛基线或对比实验

替代项目

SpeechBrain、Coqui TTS、ESPnet

上一篇:Fre-GAN-pytorch

下一篇:wavegrad2

同类项目推荐

chattts-seed-example 开源

试听 ChatTTS 各音色,快速挑中你喜欢的 seed

这是一个 ChatTTS 音频仓库,包含用不同 seed 生成的不同音色,你可以方便地挑选你喜欢的 ···

★ 60 2026-08-09
capcut-tts-api 开源

Python 封装语音合成与转写,快速接入 TTS/STT

capcut api tts & stt

★ 316 2026-10-25
bot-whatsapp 开源

用 Node.js 快速搭建 WhatsApp 多功能机器人,但已停止维护

Unmaintained - Multipurpose WhatsApp Bot using open-wa/wa-automate-nodejs library! ···

★ 91 2026-08-09
ChatTTS-ui 开源

本地网页一键文字转语音,还能当API用

一个简单的本地网页界面,使用ChatTTS将文字合成为语音,同时支持对外提供API接口。A simp···

★ 7670 2026-08-09
voicevox_core 开源

把日语TTS引擎装进你的应用,离线生成自然语音

無料で使える中品質なテキスト読み上げソフトウェア、VOICEVOXのコア

★ 1149 2026-10-27
voice-cloning-collab 开源

用少量样本实时克隆声音,效果更自然

an improved version of Real-time-voice-cloning

★ 52 2026-08-09
FastSpeech2 开源

用 PyTorch 快速实现多说话人语音合成,训练推理都省心

Multi-Speaker Pytorch FastSpeech2: Fast and High-Quality End-to-End Text to Speech :···

★ 99 2026-08-09
MusicGPT 开源

本地运行 LLM,用自然语言一句话生成音乐

Generate music based on natural language prompts using LLMs running locally

★ 1471 2026-08-09