whisper-vits-japanese

只有音频也能训练日语VITS，Whisper自动生成文本标注

这是一个将Whisper语音识别模型与VITS语音合成模型结合的开源工具，专门用于日语语音合成。它解决的核心问题是：传统VITS训练需要成对的文本和音频数据，而实际中往往只有音频没有对应文本。该项目利用Whisper自动为音频生成文本标注，从而让用户仅凭音频数据就能训练出高质量的日语VITS模型。核心能力包括：音频预处理、Whisper自动转写、文本-音频配对生成、VITS模型训练流程封装。它降低了日语TTS模型的训练门槛，适合个人开发者或小团队快速构建定制化日语语音合成系统。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 161
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队AlexandaJerry
所属国家
官网地址
GitHubhttps://github.com/AlexandaJerry/whisper-vits-japanese
定价模式free
价格说明开源项目，MIT许可证，完全免费，可自行部署训练。
访问状态
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型speech,speech-synthesis,tts
GitHub 星标★ 161
30天Star增速
HF 下载量
上线时间2022-08-11 00:00:00
最近更新2026-09-02 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 自动转写：集成Whisper，免去手动标注文本的繁琐工作
  • 端到端流程：从原始音频到VITS训练模型，提供完整pipeline
  • 日语优化：针对日语语音特性进行了适配，发音准确度有保障

不足之处

  • 文档/社区待观察
  • 依赖Whisper转写质量，噪声大的音频可能影响训练效果

适用场景

  • 个人开发者快速构建定制化日语语音合成
  • 仅有音频语料、缺乏文本标注的日语TTS项目
  • 研究VITS在日语上的效果，快速验证想法

替代项目

ESPnet-TTS、Coqui TTS、VoiceCraft

项目介绍

whisper-vits-japanese 是模型训练领域的开源项目，由 AlexandaJerry 开发，2022 年首次发布。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 161。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-02。MIT许可证，完全免费，可自行部署训练。

它主要面向的使用场景是：个人开发者快速构建定制化日语语音合成。同类可对比的替代方案包括 ESPnet-TTS、Coqui TTS、VoiceCraft。

上一篇：finetune-index-tts

下一篇：RaveForce

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列，训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性，长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型，练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型，推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13