
DiffSinger
用扩散模型快速生成高自然度歌声,输入MIDI即可合成演唱。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4893
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Python 环境(项目为 Python 实现)
- PyTorch(README 明确为官方 PyTorch 实现)
- 能访问 GitHub 与 arXiv/文档的网络环境
- 具备歌声合成数据集与训练/推理所需的算力
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取 DiffSinger 源码到本地,后续所有文档都在仓库的 docs 目录下。
git clone https://github.com/MoonInTheRiver/DiffSinger.git cd DiffSinger -
2阅读 SVS 说明文档
README 未给出安装命令,需以 docs/README-SVS.md 为准,按其章节完成环境与数据准备。
cat docs/README-SVS.md -
3查看简易推理方案
README 提供了 A、B 两种从原始输入直接推理的方案文档,按需选择一种照着做。
cat docs/README-SVS-opencpop-cascade.md cat docs/README-SVS-opencpop-e2e.md -
4了解扩散加速插件
如需更快的推理速度,可参考 PNDM 插件文档,为 DiffSinger 提供扩散采样加速。
cat docs/README-SVS-opencpop-pndm.md -
5在线体验(免部署)
只想试听效果、不想本地配置时,可直接使用官方提供的 HuggingFace 在线 Demo。
如何确认成功
仓库克隆成功且 docs 目录下能看到 README-SVS.md,并按其步骤跑通推理即表示环境就绪。
常见问题
Q:不想本地部署,能直接体验吗?
A:可以。README 提供了 HuggingFace 在线 SVS 体验空间(Silentlin/DiffSinger),另有 TTS 版 Demo,打开网页即可试听。
Q:扩散模型推理太慢怎么办?
A:README 提到新增了 PNDM(ICLR 2022)插件,可自由加速 DiffSinger,具体用法见 docs/README-SVS-opencpop-pndm.md。
Q:这个仓库除了歌声合成还支持什么?
A:同时包含 DiffSpeech,即文本转语音(TTS)的实现,README 中给出了对应的 HuggingFace TTS 体验入口。
Q:有更完善的代码框架吗?
A:README 提到改进版框架 NATSpeech 已发布,其中包含 DiffSpeech 与 PortaSpeech 的实现,可优先关注。
Q:支持 MIDI 输入吗?
A:支持,README 的更新记录中列出 MIDI-A 版本与 MIDI-B 版本的歌声合成支持。
注意事项
- 本次 README 节选只有更新日志和文档链接,没有任何 pip install、依赖版本、端口或路径信息,因此安装步骤需以仓库 docs 目录下的文档为准。
- 不要凭猜测执行 pip/conda 安装命令,请先阅读 docs/README-SVS.md 等对应文档再操作。
- 项目为学术导向的开源实现,复现需要自行准备数据集与训练配置,耗时和算力成本较高。
- 仓库自 2022 年后更新记录有限,若追求更新的框架可参考其提到的 NATSpeech。
核心亮点
- 浅层扩散机制显著提升推理速度,相比全扩散模型更实用
- 官方代码完整,支持训练、推理与歌声数据库构建,学术复现门槛低
- 支持 MIDI 控制音高节奏,适合音乐创作场景
不足之处
- 依赖大量歌声数据训练,数据准备成本较高
- 文档/社区待观察
适用场景
- 歌声合成研究:复现论文、对比基线模型
- 音乐创作:用MIDI快速生成人声Demo
- 语音合成扩展:将方法迁移至TTS任务
替代项目
DiffSVC、VISinger2、RVC-Project
上一篇:Kokoro-FastAPI
下一篇:RealtimeTTS
同类项目推荐
Vocello
开源
在 Apple 芯片上离线快速生成语音,保护隐私,无需联网。
Vocello: a private voice studio for Apple Silicon. Write a script, pick or describe ···
parrots
开源
开箱即用的中英语音识别与多角色合成引擎
Automatic Speech Recognition(ASR), Text-To-Speech(TTS) engine. 中英语音识别、多角色语···
WhisperSpeech
开源
反转Whisper,用识别模型生成自然语音,快速搭建TTS应用
An Open Source text-to-speech system built by inverting Whisper.
BeatDrop
开源
把音乐变成动态视觉,实时跟随节奏跳动
BeatDrop Music Visualizer
musical-neural-net
开源
用 LSTM 训练 AI 生成钢琴或小提琴音乐,输入 MIDI 即出作品。
Train an LSTM to generate piano or violin/piano music.
phoenix10.1
开源
用文字一键生成你的专属电台,AI 主持不间断播报
Creates personalized radio stations with your own radio jockey!
nightingale
开源
任意歌曲秒变伴奏,唱完还能给你打分
Machine learning powered Karaoke app (with scores!)
ha-rhvoice
开源
在 Home Assistant 中本地离线生成语音,保护隐私免云端。
Home Assistant integration for RHVoice - a local text-to-speech engine.
kugelaudio-open
开源
欧洲语言文本转语音,还能克隆你的音色
Open-source text-to-speech for European languages with voice cloning