melgan

把频谱图变成自然语音,实时合成不卡顿

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 113 🐛 待处理 34 👀 关注 25
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 651
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,BSD-3-Clause许可证,可自由使用和修改,无付费版本。

项目预览

melgan 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队seungwonpark
定价模式🏷️完全免费
价格说明开源项目,BSD-3-Clause许可证,可自由使用和修改,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议BSD-3-Clause
主要语言Python
技术栈/模型gan,neural-vocoder,pytorch,tts
GitHub 星标★ 651
上线时间2019-10-17 00:00:00
代码更新2020-10-03
仓库体积18.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

MelGAN 是一个基于生成对抗网络的声码器(vocoder),用于将梅尔频谱图(mel-spectrogram)转换为高质量语音波形。它解决了传统声码器(如 Griffin-Lim)合成语音自然度低、计算开销大的问题,能够实时生成接近自然语音的音频。核心能力包括:非自回归的生成架构,大幅提升合成速度;多尺度判别器设计,增强音频的细节和真实性;支持与 NVIDIA Tacotron2 等文本转语音(TTS)前端模型无缝对接,直接输入 Tacotron2 输出的梅尔频谱即可合成语音。项目提供预训练模型和训练代码,方便研究者复现和定制。MelGAN 在语音合成领域具有重要影响,为后续 GAN 声码器(如 HiFi-GAN)奠定了基础。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 651

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 180 分钟 部署方式:本地GPU 5 步

环境要求

  • GPU 8G 显存以上
  • LJSpeech 或自建语音数据
  • librosa 等音频依赖

安装与启动步骤

  1. 1拉代码装依赖

    非官方实现,依赖版本按 requirements 来,别自己升级。

    pip install -r requirements.txt
  2. 2下语音数据集

    官方常用 LJSpeech,单说话人、时长适中,适合先跑通。

  3. 3预处理成梅尔谱

    训练前要把音频转成梅尔频谱,参数要和模型配置一致。

  4. 4训声码器

    生成器加判别器联合训,先看能否过拟合一小批数据判断链路是否正确。

  5. 5用权重合成语音

    拿训好的权重把梅尔谱还原成波形,先听是否清晰再谈自然度。

如何确认成功

用训好的权重能把梅尔谱还原成可听懂的波形,且无明显电流噪声

注意事项

  • 这是非官方复现,与论文数字不具备可比性。
  • 梅尔参数不匹配会让合成结果全是噪声,这是最常见的问题。
  • 声码器只负责谱转波形,文本前端要另配。

核心亮点

  • 非自回归架构,合成速度远超自回归声码器,可实时运行
  • 多尺度判别器提升音频保真度,语音自然度高
  • 与 NVIDIA Tacotron2 直接兼容,开箱即用

不足之处

  • 早期项目,预训练模型仅针对特定说话人,泛化性有限
  • 文档和社区支持相对薄弱,后续维护不活跃

适用场景

  • 语音合成系统后端声码器,将 TTS 前端输出的频谱转为波形
  • 实时语音交互场景,如语音助手、游戏配音
  • 音频生成研究,作为 GAN 声码器的基线对比

替代项目

HiFi-GAN、Parallel WaveGAN、WaveGlow

同类项目推荐

Tacotron-pytorch 开源

用 PyTorch 快速上手 Tacotron,训练自己的语音合成模型

Pytorch implementation of Tacotron

★ 206 2026-08-09
PolyLangVITS 开源

一个模型搞定中英日韩语音合成,开箱即用

Multi-speaker Speech Synthesis Using VITS(KO, JA, EN, ZH)

★ 75 2026-08-09
Unitale 开源

浏览器里一键把剧本变成带音效和配图的有声书

一个基于Indextts和Qwen3TTS的 AI 有声书制作工具。利用 LLM 自动拆解剧本与识别情绪,集成···

★ 240 2026-08-09
mandarin-tts 开源

用FastSpeech 2快速搭建中文语音合成,轻松生成普通话音频。

Chinese Mandarin tts text-to-speech 中文 (普通话) 语音 合成 , by fastspeech 2 , imp···

★ 477 2026-08-09
radium 开源

图形化 tracker,像 DAW 一样拖音符,保留逐行编辑精度

A graphical music editor. A next generation tracker.

★ 1092 2026-10-15
Dicy2 开源

在 Max 里用机器学习生成音乐序列,实现交互式创作

"Dicy2 for Max" is a Max package implementing interactive agents using machine-learn···

★ 66 2026-08-09
piper-plus 开源

一键安装的多语言流式 TTS,支持 6 种语言和多种硬件加速

Multilingual neural TTS (6 languages: JA/EN/ZH/ES/FR/PT, code supports SV) — C++, C···

★ 240 2026-08-09
Applio 开源

一键上传音频,轻松实现声音克隆与转换

A simple, high-quality voice conversion tool focused on ease of use and performance.

★ 3983 2026-08-09
StyleSpeech 开源

一条参考语音,即刻克隆任意音色,快速合成个性化语音。

PyTorch Implementation of Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech G···

★ 198 2026-08-09