项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 648
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- GPU 12G 显存
- Python 3.11
- LJSpeech 或 VCTK 数据
安装与启动步骤
-
1拉代码建环境
官方指定 Python 3.11,这套实现比 VITS 原版新一些。
git clone https://github.com/daniilrobnikov/vits2.git -
2装依赖
依赖里有音素转换与音频前端,装完先确认能 import。
pip install -r requirements.txt -
3预处理成梅尔谱
先把 LJSpeech 转成谱,产物目录要和控制文件里的路径对上。
python preprocess/mel_transform.py --data_dir /path/to/LJSpeech-1.1 -c datasets/ljs_base/config.yaml -
4训单说话人
先用单说话人配置跑通,看 loss 是否稳定下降再扩大。
python train.py -c datasets/ljs_base/config.yaml -m ljs_base -
5切多说话人
多说话人走另一套脚本,配置换成 VCTK 或自建那份。
python train_ms.py -c datasets/vctk_base/config.yaml -m vctk_base
如何确认成功
训出的模型能合成清晰可懂的语音,多说话人下不同说话人音色可区分
注意事项
- 预处理参数与训练配置必须一致,不一致合成出来是噪声。
- 自建数据集要自己写控制文件,格式照 ljs_base 抄最稳。
- 这是第三方复现,论文指标不能直接对标。
核心亮点
- 单阶段端到端架构,省去复杂流水线,训练和推理更高效
- 引入对抗学习,语音自然度和韵律表现优于前代 VITS
- 支持多说话人和语音转换,灵活性高
不足之处
- 项目处于早期,文档和社区支持尚待完善
适用场景
- 语音助手和智能客服的语音合成
- 有声书、播客等内容的自动配音
- 游戏或虚拟角色的实时语音生成
替代项目
VITS、Coqui TTS、ESPnet-TTS
上一篇:f5-tts-mlx
下一篇:Parakeet
同类项目推荐
wavegrad2
开源
用扩散模型直接生成高保真语音波形,一步到位
Unofficial Pytorch Implementation of WaveGrad2
read-aloud
开源
一键朗读网页,解放双眼,随时随地听内容
An awesome browser extension that reads aloud webpage content with one click
ttsmms
开源
一键调用MMS模型,让数百种语言开口说话
TTS with The Massively Multilingual Speech (MMS) project
obs-squawk
开源
在 OBS 里直接生成实时 AI 语音,直播播报不用切软件
Real-time Text-to-Speech AI Engine built-in OBS, integrative and intuitive
AivisSpeech-Engine
开源
上传声音样本,即刻生成日文语音,还能模仿音色。
AivisSpeech Engine: AI Voice Imitation System - Text to Speech Engine
radium
开源
图形化 tracker,像 DAW 一样拖音符,保留逐行编辑精度
A graphical music editor. A next generation tracker.
ComfyUI-VoxCPM
开源
在 ComfyUI 里拖拽节点,即可生成高表现力语音并克隆任意声音。
ComfyUI node for highly expressive speech and realistic zero-shot voice cloning
Kokoros
开源
用 Rust 实现极速实时高质量语音合成
Kokoro in Rust. https://huggingface.co/hexgrad/Kokoro-82M Insanely fast, realtime TT···
deepvoice3_pytorch
开源
用 PyTorch 复现百度 Deep Voice 3,快速训练文本转语音模型
PyTorch implementation of convolutional neural networks-based text-to-speech synthes···
