项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 431
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- NVIDIA GPU
- 语音数据集
- PyTorch
安装与启动步骤
-
1拉仓库装依赖
语音合成的扩散模型实现。
-
2先跑推理
用预训练配置直接合成一段语音。
python inference/ProDiff.py --config modules/ProDiff/config/prodiff.yaml -
3准备对齐数据
训练前要先做文本与音频的对齐。
python data_gen/tts/bin/pre_align.py --config <配置路径> -
4再训练
对齐完成后才能开始训练。
如何确认成功
合成的一段语音自然度明显高于传统声学模型基线，且韵律没有明显断裂
注意事项
- 它用扩散模型做语音合成，推理步数是速度与质量的旋钮。
- 对齐环节是训练的前置条件，跳过会训不出可用结果。
- 数据集要带转写文本，格式按仓库要求整理。
- 声音克隆相关应用涉及人格权，需授权。
核心亮点
- 推理速度极快，实时率低至 0.345，适合实时应用
- 提供预训练模型和完整训练/推理脚本，上手快
- 代码基于 PyTorch，模块化设计，便于二次开发
不足之处
- 文档/社区待观察
- 依赖特定数据集和配置，泛化性需自行验证
适用场景
- 实时语音合成应用（如虚拟助手、游戏NPC）
- 学术研究：扩散模型在语音合成中的加速方法
- 低延迟TTS服务开发，替代传统自回归模型
替代项目
FastDiff、DiffWave、Grad-TTS
上一篇：elevenlabs-js
下一篇：FastDiff
同类项目推荐
lyrictor
开源
把歌曲变成可分享的 AI 视觉作品，无需设计基础
Desktop and browser-based creative tool for turning personal interpretations of song···
midi-model
开源
用 Transformer 自动生成 MIDI 音乐，输入风格，输出旋律。
Midi event transformer for symbolic music generation
youtube-auto-dub
开源
一键将 YouTube 视频自动翻译并配音成多语言，保留原声背景音乐。
AI-powered YouTube video dubbing pipeline. Automatically transcribes (Whisper), tran···
ComfyUI-FL-YuE2
开源
在 ComfyUI 里生成音乐并手动改音符，边听边调
YuE2 music generation and an editable piano roll for ComfyUI
AllVoiceLab-MCP
开源
让AI一键开口说话，还能给视频配音翻译
Official AllVoiceLab Model Context Protocol (MCP) server, supporting interaction wit···
TFGAN
开源
融合时频域GAN，生成高保真语音
TFGAN: Time and Frequency Domain Based Generative Adversarial Network for High-fidel···
UEAzSpeech
开源
在虚幻引擎中一键接入 Azure 语音，实现语音识别与合成。
This plugin integrates Azure Speech Cognitive Services in Unreal Engine.
DiffSinger
开源
用扩散模型快速生成高自然度歌声，输入MIDI即可合成演唱。
DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism (SVS & TTS); AAA···
Dot
开源
本地跑通 TTS+RAG+LLM，离线也能玩转 AI 语音和问答。
Text-To-Speech, RAG, and LLMs. All local!