DiffGAN-TTS

用扩散+GAN，几步生成高保真语音，又快又真

DiffGAN-TTS 是一个基于 PyTorch 的文本转语音（TTS）实现，核心思想是结合扩散模型（Diffusion）和生成对抗网络（GAN），在保证高保真度的同时大幅提升推理速度。传统的扩散模型需要多步采样才能生成高质量音频，速度较慢；而 DiffGAN-TTS 通过引入 GAN 作为判别器，让扩散模型在少数几步内就能生成接近真实的语音，解决了扩散模型效率低下的问题。项目基于 FastSpeech 作为声学模型，使用 HiFi-GAN 作为声码器，支持多说话人（如 LibriTTS 数据集）训练。代码结构清晰，包含数据预处理、模型训练、推理和评估脚本，适合研究者和开发者复现论文结果或进行二次开发。它主要解决 TTS 中音质与速度难以兼得的痛点，为实时语音合成应用提供了新的技术路径。

开源 free 音频音乐

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 349

维护状态低维护

是否开源是

定价模式 free

项目数据

分类音频音乐

开发团队keonlee9420

所属国家

官网地址

GitHubhttps://github.com/keonlee9420/DiffGAN-TTS

定价模式free

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ddpm,deep-neural-networks,diffgan-tts,diffspeech,diffusion,diffusion-models,fastspeech,gan,generative-model,hifi-gan,multi-speaker-tts,neural-tts,non-ar,non-autoregressive,pytorch,single-speaker-tts,speech-synthesis,text-to-speech,tts

GitHub 星标★ 349

30天Star增速

HF 下载量

上线时间2022-02-14 00:00:00

最近更新2026-07-24 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

核心亮点

推理速度快：相比传统扩散模型，只需少量采样步数即可生成高质量音频
音质高保真：结合 GAN 判别器，语音自然度和清晰度优于纯扩散模型
代码结构清晰：基于 PyTorch，模块化设计，便于研究复现和二次开发

不足之处

文档/社区待观察：项目处于早期，文档和社区支持可能不够完善
训练资源要求高：扩散模型和 GAN 联合训练需要较大 GPU 显存和算力

适用场景

实时语音合成应用（如虚拟助手、语音交互）
学术研究：探索扩散模型与 GAN 结合在生成任务中的效果
低资源设备上的 TTS 部署（因推理步骤少，计算开销低）

替代项目

FastSpeech 2、DiffSpeech、VITS

项目介绍

DiffGAN-TTS 是音频音乐领域的开源项目，由 keonlee9420 开发，2022 年首次发布。

它收录于音频音乐分类，该分类目前共有 738 个项目，GitHub 星标数为 349。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-24。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：实时语音合成应用（如虚拟助手、语音交互）。同类可对比的替代方案包括 FastSpeech 2、DiffSpeech、VITS。

上一篇：StreamingKokoroJS

下一篇：rvc-tts-webui