vits2

一条流水线生成自然语音,又快又像真人

开源 🏷️完全免费 ✅ 目前可打开 音频音乐 🍴 复刻 76 🐛 待处理 20 👀 关注 12
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 648
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,提供在线演示页面,可免费体验,无付费版本。

项目预览

vits2 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队daniilrobnikov
定价模式🏷️完全免费
价格说明开源项目,提供在线演示页面,可免费体验,无付费版本。
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型deep-learning,pytorch,speech,speech-synthesis,text-to-speech,tts,vits2,voice-conversion
GitHub 星标★ 648
上线时间2023-07-29 00:00:00
代码更新2023-09-11
仓库体积7.5 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

VITS2 是一个基于 PyTorch 的单阶段文本转语音(TTS)模型,旨在提升语音合成的质量和效率。它通过对抗学习和架构设计改进,解决了传统两阶段 TTS 系统(如先产生中间表示再合成波形)的复杂性和性能瓶颈。核心能力包括:端到端训练,直接从文本生成高质量语音;支持多说话人合成和语音转换;采用对抗训练和条件流归一化等技术,使生成语音更自然、韵律更丰富。项目提供了预训练模型和推理代码,方便开发者快速集成。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 648

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 180 分钟 部署方式:本地GPU 5 步

环境要求

  • GPU 12G 显存
  • Python 3.11
  • LJSpeech 或 VCTK 数据

安装与启动步骤

  1. 1拉代码建环境

    官方指定 Python 3.11,这套实现比 VITS 原版新一些。

    git clone https://github.com/daniilrobnikov/vits2.git
  2. 2装依赖

    依赖里有音素转换与音频前端,装完先确认能 import。

    pip install -r requirements.txt
  3. 3预处理成梅尔谱

    先把 LJSpeech 转成谱,产物目录要和控制文件里的路径对上。

    python preprocess/mel_transform.py --data_dir /path/to/LJSpeech-1.1 -c datasets/ljs_base/config.yaml
  4. 4训单说话人

    先用单说话人配置跑通,看 loss 是否稳定下降再扩大。

    python train.py -c datasets/ljs_base/config.yaml -m ljs_base
  5. 5切多说话人

    多说话人走另一套脚本,配置换成 VCTK 或自建那份。

    python train_ms.py -c datasets/vctk_base/config.yaml -m vctk_base

如何确认成功

训出的模型能合成清晰可懂的语音,多说话人下不同说话人音色可区分

注意事项

  • 预处理参数与训练配置必须一致,不一致合成出来是噪声。
  • 自建数据集要自己写控制文件,格式照 ljs_base 抄最稳。
  • 这是第三方复现,论文指标不能直接对标。

核心亮点

  • 单阶段端到端架构,省去复杂流水线,训练和推理更高效
  • 引入对抗学习,语音自然度和韵律表现优于前代 VITS
  • 支持多说话人和语音转换,灵活性高

不足之处

  • 项目处于早期,文档和社区支持尚待完善

适用场景

  • 语音助手和智能客服的语音合成
  • 有声书、播客等内容的自动配音
  • 游戏或虚拟角色的实时语音生成

替代项目

VITS、Coqui TTS、ESPnet-TTS

上一篇:f5-tts-mlx

下一篇:Parakeet

同类项目推荐

wavegrad2 开源

用扩散模型直接生成高保真语音波形,一步到位

Unofficial Pytorch Implementation of WaveGrad2

★ 111 2026-08-09
read-aloud 开源

一键朗读网页,解放双眼,随时随地听内容

An awesome browser extension that reads aloud webpage content with one click

★ 1795 2026-08-09
ttsmms 开源

一键调用MMS模型,让数百种语言开口说话

TTS with The Massively Multilingual Speech (MMS) project

★ 238 2026-08-09
obs-squawk 开源

在 OBS 里直接生成实时 AI 语音,直播播报不用切软件

Real-time Text-to-Speech AI Engine built-in OBS, integrative and intuitive

★ 71 2026-08-09
AivisSpeech-Engine 开源

上传声音样本,即刻生成日文语音,还能模仿音色。

AivisSpeech Engine: AI Voice Imitation System - Text to Speech Engine

★ 185 2026-08-09
radium 开源

图形化 tracker,像 DAW 一样拖音符,保留逐行编辑精度

A graphical music editor. A next generation tracker.

★ 1092 2026-10-15
ComfyUI-VoxCPM 开源

在 ComfyUI 里拖拽节点,即可生成高表现力语音并克隆任意声音。

ComfyUI node for highly expressive speech and realistic zero-shot voice cloning

★ 521 2026-08-09
Kokoros 开源

用 Rust 实现极速实时高质量语音合成

Kokoro in Rust. https://huggingface.co/hexgrad/Kokoro-82M Insanely fast, realtime TT···

★ 836 2026-08-09
deepvoice3_pytorch 开源

用 PyTorch 复现百度 Deep Voice 3,快速训练文本转语音模型

PyTorch implementation of convolutional neural networks-based text-to-speech synthes···

★ 1976 2026-08-09