
vits2_pytorch
用 PyTorch 跑通 VITS2 语音合成,训练推理全流程
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 548
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- PyTorch
- CUDA 显卡
- 语音数据集
安装与启动步骤
-
1建环境装依赖
按仓库的 requirements 装,注意 PyTorch 与 CUDA 版本要匹配。
pip install -r requirements.txt -
2编译 C 扩展
梅尔频谱和单调对齐搜索有原生扩展,不编译就跑不起来。
python setup.py build_ext --inplace -
3预处理数据
先按配置做文本音素化与频谱提取,产物直接给训练用。
python preprocess.py --config configs/ljs_base.json -
4开训
单阶段模型训练周期长,先跑几百步看损失是否正常下降。
python train_ms.py -c configs/ljs_base.json -m ljs_base -
5导出并推理
导成 onnx 后可以脱离训练框架部署,推理只依赖运行时。
python onnxexport.py --model ljs_base --out ljs.onnx
如何确认成功
用导出的 onnx 模型合成一句没在训练集里出现过的文本,音频能正常播放且韵律没有明显的断句错误
注意事项
- 非官方实现,脚本名与参数以仓库实际为准,路径不对时先看目录再改命令。
- 相比两阶段方案它省掉了独立声码器,但对音素转换的依赖更重,中文要先准备好 G2P。
- 显存吃紧就调小 batch 并开梯度累积,别硬扛。
- 训练集音质直接决定合成效果,几百条干净录音比几千条嘈杂录音有用。
- 评估别只听一句,韵律问题往往在长句和数字上暴露。
核心亮点
- 完整实现 VITS2 训练与推理流程,含数据预处理和配置示例
- 基于 PyTorch Lightning,代码模块化清晰,易于扩展和调试
- 提供预训练模型与合成样例,开箱即用快速体验效果
不足之处
- 文档和注释较少,新手上手门槛较高
- 训练依赖特定数据集格式,通用性待验证
适用场景
- 研究者复现 VITS2 论文并对比效果
- 开发者快速集成 TTS 到个人项目或 demo
- 教学场景用于学习端到端语音合成实现
替代项目
coqui-ai/TTS、espnet/espnet、jaywalnut310/vits
同类项目推荐
minutes
开源
把会议和语音笔记变成可搜索的AI记忆库,本地处理,隐私无忧。
Open-source, local-first Granola/Otter alternative that Claude Code, Codex, Cursor, ···
MuLaCover
开源
给段音频或 MIDI,AI 帮你生成可控翻唱和混音
MuLaCover: controllable AI cover-song and music-remix generation from reference audi···
RapidTTS
开源
本地快速语音合成,多模型一键切换,低延迟高音质。
轻量级文本转语音工具,面向本地快速推理。A text-to-speech framework for fast and high···
lalalai
开源
调用 LALAL.AI API,快速实现人声分离与音频处理
Official examples for LALAL.AI API: stem separation, voice cleaning, voice cloning, ···
elevenlabs-js
开源
用 Node.js 快速接入 ElevenLabs 高质量 AI 语音合成
The official JavaScript (Node) library for the ElevenLabs API.
SoundStorm-pytorch
开源
并行音频生成,让语音合成快数倍
Google's SoundStorm: Efficient Parallel Audio Generation
MioTTS-Inference
开源
轻量快速的 LLM 语音合成推理服务,支持声音克隆,即插即用。
Inference server for MioTTS, a lightweight and fast LLM-based TTS model.
Applio
开源
一键上传音频,轻松实现声音克隆与转换
A simple, high-quality voice conversion tool focused on ease of use and performance.
UEAzSpeech
开源
在虚幻引擎中一键接入 Azure 语音,实现语音识别与合成。
This plugin integrates Azure Speech Cognitive Services in Unreal Engine.