Multi-Singer

从乐谱和歌词合成自然歌声，复现顶会论文效果

Multi-Singer 是 ACM MM 2021 论文的官方 PyTorch 实现，专注于歌唱语音合成（Singing Voice Synthesis）。它解决的核心问题是：如何从文本和乐谱（音符、时长）生成自然、富有表现力的歌声，而非普通说话语音。项目提供完整的训练和推理流程，包含数据预处理、声学模型（基于 Fastspeech 2 架构）和声码器（HiFi-GAN）的端到端管线。核心能力包括：支持多歌手音色建模、可控的音高和节奏输入、以及基于音素和音符级别的对齐。与普通 TTS 不同，它显式建模音高轮廓和音符时长，使合成歌声更贴近真实演唱。项目代码结构清晰，适合研究者复现论文结果或在此基础上进行二次开发，是歌声合成领域一个基础性的开源参考实现。

开源 free 音频音乐

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 139

维护状态低维护

是否开源是

定价模式 free

项目数据

分类音频音乐

开发团队Rongjiehuang

所属国家

官网地址

GitHubhttps://github.com/Rongjiehuang/Multi-Singer

定价模式free

价格说明开源项目，MIT许可证，完全免费，需自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型singing-voice-synthesis,speech-synthesis,text-to-speech,tts,vocoder

GitHub 星标★ 139

30天Star增速

HF 下载量

上线时间2021-10-26 00:00:00

最近更新2025-11-08 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

官方实现，与 ACM MM 2021 论文完全对应，复现结果可靠
显式建模音高和时长，歌声表现力优于普通 TTS
基于 Fastspeech 2 + HiFi-GAN 成熟架构，训练稳定

不足之处

依赖特定数据集（如 OpenSinger），数据获取和预处理门槛较高
推理速度受限于自回归声码器，实时性一般
文档/社区待观察

适用场景

学术研究：复现歌声合成基线，对比新方法
音乐创作：从 MIDI 和歌词自动生成人声 Demo
虚拟歌手开发：为虚拟形象提供可定制的歌唱声音

替代项目

DiffSinger、VISinger、NUS-HLT-SVS

项目介绍

Multi-Singer 是音频音乐领域的开源项目，由 Rongjiehuang 开发，2021 年首次发布。

它收录于音频音乐分类，该分类目前共有 738 个项目，GitHub 星标数为 139。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2025-11-08。MIT许可证，完全免费，需自行部署使用。

它主要面向的使用场景是：学术研究：复现歌声合成基线，对比新方法。同类可对比的替代方案包括 DiffSinger、VISinger、NUS-HLT-SVS。

上一篇：joytan

下一篇：articulate.js