vits2_pytorch

用 PyTorch 跑通 VITS2 语音合成,训练推理全流程

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 100 🐛 待处理 17 👀 关注 22
GitHub ↗
GitHub 星标 ★ 548
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,无付费版本。

项目预览

vits2_pytorch 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队p0p4k
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型deep-learning,pytorch,text-to-speech,tts,vits2
GitHub 星标★ 548
上线时间2023-08-03 00:00:00
代码更新2024-03-28
仓库体积8.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

vits2_pytorch 是 VITS2 文本转语音模型的非官方 PyTorch 实现。VITS2 是 VITS 的改进版本,通过引入流匹配、改进的对抗训练和更优的时长预测,提升了语音合成的自然度和韵律表现。该项目旨在为社区提供一个可复现、易扩展的 VITS2 训练与推理代码库,解决了官方实现缺失或难以使用的问题。核心能力包括:支持多说话人训练、文本与音素输入、端到端语音合成,并提供了预训练模型和推理脚本。代码结构清晰,基于 PyTorch 和 PyTorch Lightning,方便研究者进行二次开发和实验。目前项目处于早期阶段,功能完整但优化空间较大。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 548

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 70 分钟 部署方式:本地安装 5 步

环境要求

  • PyTorch
  • CUDA 显卡
  • 语音数据集

安装与启动步骤

  1. 1建环境装依赖

    按仓库的 requirements 装,注意 PyTorch 与 CUDA 版本要匹配。

    pip install -r requirements.txt
  2. 2编译 C 扩展

    梅尔频谱和单调对齐搜索有原生扩展,不编译就跑不起来。

    python setup.py build_ext --inplace
  3. 3预处理数据

    先按配置做文本音素化与频谱提取,产物直接给训练用。

    python preprocess.py --config configs/ljs_base.json
  4. 4开训

    单阶段模型训练周期长,先跑几百步看损失是否正常下降。

    python train_ms.py -c configs/ljs_base.json -m ljs_base
  5. 5导出并推理

    导成 onnx 后可以脱离训练框架部署,推理只依赖运行时。

    python onnxexport.py --model ljs_base --out ljs.onnx

如何确认成功

用导出的 onnx 模型合成一句没在训练集里出现过的文本,音频能正常播放且韵律没有明显的断句错误

注意事项

  • 非官方实现,脚本名与参数以仓库实际为准,路径不对时先看目录再改命令。
  • 相比两阶段方案它省掉了独立声码器,但对音素转换的依赖更重,中文要先准备好 G2P。
  • 显存吃紧就调小 batch 并开梯度累积,别硬扛。
  • 训练集音质直接决定合成效果,几百条干净录音比几千条嘈杂录音有用。
  • 评估别只听一句,韵律问题往往在长句和数字上暴露。

核心亮点

  • 完整实现 VITS2 训练与推理流程,含数据预处理和配置示例
  • 基于 PyTorch Lightning,代码模块化清晰,易于扩展和调试
  • 提供预训练模型与合成样例,开箱即用快速体验效果

不足之处

  • 文档和注释较少,新手上手门槛较高
  • 训练依赖特定数据集格式,通用性待验证

适用场景

  • 研究者复现 VITS2 论文并对比效果
  • 开发者快速集成 TTS 到个人项目或 demo
  • 教学场景用于学习端到端语音合成实现

替代项目

coqui-ai/TTS、espnet/espnet、jaywalnut310/vits

上一篇:Chatterbox-TTS-Extended

下一篇:orpheus-tts-local

同类项目推荐

minutes 开源

把会议和语音笔记变成可搜索的AI记忆库,本地处理,隐私无忧。

Open-source, local-first Granola/Otter alternative that Claude Code, Codex, Cursor, ···

★ 1595 2026-08-13
MuLaCover 开源

给段音频或 MIDI,AI 帮你生成可控翻唱和混音

MuLaCover: controllable AI cover-song and music-remix generation from reference audi···

★ 127 2026-10-12
RapidTTS 开源

本地快速语音合成,多模型一键切换,低延迟高音质。

轻量级文本转语音工具,面向本地快速推理。A text-to-speech framework for fast and high···

★ 56 2026-08-09
lalalai 开源

调用 LALAL.AI API,快速实现人声分离与音频处理

Official examples for LALAL.AI API: stem separation, voice cleaning, voice cloning, ···

★ 200 2026-08-09
elevenlabs-js 开源

用 Node.js 快速接入 ElevenLabs 高质量 AI 语音合成

The official JavaScript (Node) library for the ElevenLabs API.

★ 450 2026-08-09
SoundStorm-pytorch 开源

并行音频生成,让语音合成快数倍

Google's SoundStorm: Efficient Parallel Audio Generation

★ 131 2026-08-09
MioTTS-Inference 开源

轻量快速的 LLM 语音合成推理服务,支持声音克隆,即插即用。

Inference server for MioTTS, a lightweight and fast LLM-based TTS model.

★ 207 2026-08-09
Applio 开源

一键上传音频,轻松实现声音克隆与转换

A simple, high-quality voice conversion tool focused on ease of use and performance.

★ 3980 2026-08-09
UEAzSpeech 开源

在虚幻引擎中一键接入 Azure 语音,实现语音识别与合成。

This plugin integrates Azure Speech Cognitive Services in Unreal Engine.

★ 215 2026-08-09