MelNet

在频域上自回归生成音频,让AI学会谱曲和说话

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 39 🐛 待处理 10 👀 关注 22
GitHub ↗
GitHub 星标 ★ 208
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

MelNet 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队Deepest-Project
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型generative-model,pytorch,tts
GitHub 星标★ 208
上线时间2019-08-17 00:00:00
代码更新2024-07-25
仓库体积173 KB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

MelNet 是一个基于 PyTorch 的音频生成模型实现,源自论文《MelNet: A Generative Model for Audio in the Frequency Domain》。它直接在频域(梅尔频谱)上建模音频,通过自回归方式逐帧生成频谱,再转换为可听波形,解决了传统音频生成模型在时域上难以捕捉长程依赖、训练不稳定的问题。核心能力包括:多尺度自回归建模、基于梅尔频谱的音频生成、支持无条件生成和条件生成(如文本转语音)。项目提供了训练和采样代码,但未提供预训练模型,需要用户自行训练。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 208

核心亮点

  • 频域建模思路新颖,能捕捉全局结构,生成音频更连贯
  • 代码结构清晰,基于PyTorch,易于复现和二次开发
  • 支持条件生成,可扩展为TTS等下游任务

不足之处

  • 文档较少,仅有README基础说明,缺少详细教程
  • 未提供预训练模型,用户需从零训练,成本高
  • 项目维护不活跃,依赖库版本可能过旧

适用场景

  • 学术研究:复现论文结果,探索频域音频生成
  • 音乐生成:无条件生成旋律或环境音效
  • 语音合成:结合条件输入实现文本到语音

替代项目

WaveNet、SampleRNN、Tacotron

上一篇:WG-WaveNet

下一篇:xtts-api-server

同类项目推荐

lofi-generator 开源

用深度学习一键生成 Lo-fi 背景音乐,灵感不枯竭

Music(Lo-fi) generation using deep learning techniques.

★ 82 2026-08-09
VibeVoice-ComfyUI 开源

在 ComfyUI 里拖拽节点,一键生成高质量多角色语音

A comprehensive ComfyUI integration for Microsoft's VibeVoice text-to-speech model, ···

★ 1576 2026-08-09
liquid-audio 开源

端到端语音互转,实时交互低延迟

Liquid Audio - Speech-to-Speech audio models by Liquid AI

★ 593 2026-08-09
opencode-smart-voice-notify 开源

编码时用语音播报任务结果,不错过任何关键状态。

Smart voice notification plugin for OpenCode with multiple TTS engines (ElevenLabs, ···

★ 78 2026-08-09
Neural-HMM 开源

用神经HMM替代注意力,实现稳定高质量的语音合成

Neural HMMs are all you need (for high-quality attention-free TTS)

★ 164 2026-08-09
GPA 开源

一个模型搞定语音识别、合成和转换,轻量高效

[AutoArk] GPA (General Purpose Audio) can do ASR, TTS and voice conversion with one ···

★ 3055 2026-08-09
speaker 开源

PHP 一键接入多家 TTS 服务,快速生成语音

A PHP library to convert text to speech using various web services

★ 114 2026-08-09
xtts-webui 开源

可视化操作XTTS,零代码实现语音合成与微调

Webui for using XTTS and for finetuning it

★ 900 2026-08-09
breeze-tts 开源

官方 PyTorch 推理,快速把文字变成中文语音

Official PyTorch inference for Breeze TTS 2

★ 1620 2026-10-25