DiffSinger

用扩散模型精修歌声合成，让非自回归 TTS 音质更自然

DiffSinger 是一个基于 PyTorch 的开源歌声合成（Singing Voice Synthesis）项目，核心思想是将浅层扩散机制（Shallow Diffusion Mechanism）应用于语音合成，以提升生成音频的自然度和表现力。该项目主要聚焦于 DiffSpeech 部分，即利用扩散模型对 FastSpeech 等非自回归模型生成的中间表征进行精炼，从而在保持非自回归合成速度的同时，获得更高质量的声学特征。DiffSinger 支持英文和中文，提供了完整的训练和推理流程，包括数据预处理、模型训练、声码器对接等。它解决了传统非自回归 TTS 在韵律和音质上的不足，尤其适用于歌声这种对音高、时长和情感要求更高的场景。项目代码结构清晰，基于流行的深度学习框架，适合研究者和开发者进行二次开发和实验。