DiffGAN-TTS

用扩散+GAN，几步生成高保真语音，又快又真

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 44 🐛 待处理 17 👀 关注 9
GitHub ↗
GitHub 星标 ★ 351
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

DiffGAN-TTS 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队keonlee9420
GitHubhttps://github.com/keonlee9420/DiffGAN-TTS
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ddpm,deep-neural-networks,diffgan-tts,diffspeech,diffusion,diffusion-models,fastspeech,gan,generative-model,hifi-gan,multi-speaker-tts,neural-tts,non-ar,non-autoregressive,pytorch,single-speaker-tts,speech-synthesis,text-to-speech,tts
GitHub 星标★ 351
上线时间2022-02-14 00:00:00
代码更新2022-02-21
仓库体积123.5 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

DiffGAN-TTS 是一个基于 PyTorch 的文本转语音（TTS）实现，核心思想是结合扩散模型（Diffusion）和生成对抗网络（GAN），在保证高保真度的同时大幅提升推理速度。传统的扩散模型需要多步采样才能生成高质量音频，速度较慢；而 DiffGAN-TTS 通过引入 GAN 作为判别器，让扩散模型在少数几步内就能生成接近真实的语音，解决了扩散模型效率低下的问题。项目基于 FastSpeech 作为声学模型，使用 HiFi-GAN 作为声码器，支持多说话人（如 LibriTTS 数据集）训练。代码结构清晰，包含数据预处理、模型训练、推理和评估脚本，适合研究者和开发者复现论文结果或进行二次开发。它主要解决 TTS 中音质与速度难以兼得的痛点，为实时语音合成应用提供了新的技术路径。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 351

核心亮点

  • 推理速度快：相比传统扩散模型，只需少量采样步数即可生成高质量音频
  • 音质高保真：结合 GAN 判别器，语音自然度和清晰度优于纯扩散模型
  • 代码结构清晰：基于 PyTorch，模块化设计，便于研究复现和二次开发

不足之处

  • 文档/社区待观察：项目处于早期，文档和社区支持可能不够完善
  • 训练资源要求高：扩散模型和 GAN 联合训练需要较大 GPU 显存和算力

适用场景

  • 实时语音合成应用（如虚拟助手、语音交互）
  • 学术研究：探索扩散模型与 GAN 结合在生成任务中的效果
  • 低资源设备上的 TTS 部署（因推理步骤少，计算开销低）

替代项目

FastSpeech 2、DiffSpeech、VITS

上一篇：StreamingKokoroJS

下一篇：rvc-tts-webui

同类项目推荐

Voice-Cloning-App 开源

上传几秒音频，即刻克隆人声并合成任意文本

A Python/Pytorch app for easily synthesising human voices

★ 1438 2026-08-09
ebook2audiobook 开源

一键把电子书变成有声书，支持千种语言和声音克隆

Generate audiobooks from e-books, 50+ TTS engines with voice cloning and 1696 langua···

★ 20514 2026-08-09
TFGAN 开源

融合时频域GAN，生成高保真语音

TFGAN: Time and Frequency Domain Based Generative Adversarial Network for High-fidel···

★ 88 2026-08-09
kugelaudio-open 开源

欧洲语言文本转语音，还能克隆你的音色

Open-source text-to-speech for European languages with voice cloning

★ 280 2026-10-01
qwen-tts-webui 开源

浏览器里填文本选音色，一键生成 Qwen3 语音

基于 Qwen3 TTS 的 WebUI

★ 376 2026-11-08
nightingale 开源

任意歌曲秒变伴奏，唱完还能给你打分

Machine learning powered Karaoke app (with scores!)

★ 1539 2026-09-17
openreader 开源

把电子书变成有声书，边听边看自动高亮

An open-source read-along document reader server with high-quality TTS options, sync···

★ 563 2026-08-09
MidiTok 开源

把乐谱变成 AI 的口粮，喂饱它就能源源不断写歌

MIDI / symbolic music tokenizers for Deep Learning models

★ 906 2026-08-09
HebTTS 开源

跳过元音预测，直接让AI用希伯来语开口说话

The official implementation of "A Language Modeling Approach to Diacritic-Free Hebre···

★ 113 2026-08-09