whisper-vits-japanese

只有音频也能训练日语VITS,Whisper自动生成文本标注

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 27 🐛 待处理 14 👀 关注 5
GitHub ↗
GitHub 星标 ★ 161
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署训练。

项目预览

whisper-vits-japanese 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队AlexandaJerry
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署训练。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型speech,speech-synthesis,tts
GitHub 星标★ 161
上线时间2022-08-11 00:00:00
代码更新2023-05-07
仓库体积44.6 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

这是一个将Whisper语音识别模型与VITS语音合成模型结合的开源工具,专门用于日语语音合成。它解决的核心问题是:传统VITS训练需要成对的文本和音频数据,而实际中往往只有音频没有对应文本。该项目利用Whisper自动为音频生成文本标注,从而让用户仅凭音频数据就能训练出高质量的日语VITS模型。核心能力包括:音频预处理、Whisper自动转写、文本-音频配对生成、VITS模型训练流程封装。它降低了日语TTS模型的训练门槛,适合个人开发者或小团队快速构建定制化日语语音合成系统。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 161

技术标签

核心亮点

  • 自动转写:集成Whisper,免去手动标注文本的繁琐工作
  • 端到端流程:从原始音频到VITS训练模型,提供完整pipeline
  • 日语优化:针对日语语音特性进行了适配,发音准确度有保障

不足之处

  • 文档/社区待观察
  • 依赖Whisper转写质量,噪声大的音频可能影响训练效果

适用场景

  • 个人开发者快速构建定制化日语语音合成
  • 仅有音频语料、缺乏文本标注的日语TTS项目
  • 研究VITS在日语上的效果,快速验证想法

替代项目

ESPnet-TTS、Coqui TTS、VoiceCraft

上一篇:finetune-index-tts

下一篇:RaveForce

同类项目推荐

gpt-neox 开源

在GPU集群上训练GPT级大模型的开源并行框架

An implementation of model parallel autoregressive transformers on GPUs, based on th···

★ 7472 2026-10-17
allamo 开源

轻量可改,小资源也能训模型

A lightweight, hackable, and efficient framework for training and fine-tuning langua···

★ 197 2026-09-29
evostra 开源

用 Python 快速实现进化策略,轻松训练强化学习模型

A fast Evolution Strategy implementation in Python

★ 271 2026-08-09
CausalMM 开源

破解注意力因果,减少多模态模型瞎编乱造

[ICLR 2025] Mitigating Modality Prior-Induced Hallucinations in Multimodal Large Lan···

★ 67 2026-08-09
paradigms 开源

并行采样加速扩散模型,少步生成高质量图像

PyTorch implementation for "Parallel Sampling of Diffusion Models", NeurIPS 2023 Spo···

★ 159 2026-08-09
sklearn-diagnose 开源

给 sklearn 模型做 AI 体检,一眼揪出过拟合和数据泄漏

AI-powered diagnosis for Scikit-learn models: Detect overfitting, data leakage, clas···

★ 61 2026-08-09
qqr 开源

让开放式智能体在变化环境中持续强化学习训练

qqr is an RL training framework for open-ended agents.

★ 325 2026-10-13
Merge-Stable-Diffusion-models-wi··· 开源

不训练,无损合并多个Stable Diffusion模型,统一风格与能力。

Adaptation of the merging method described in the paper - Git Re-Basin: Merging Mode···

★ 147 2026-08-09
AwesomeOPD 开源

一站式速览在线策略蒸馏,紧跟LLM前沿

Awesome List for On-Policy Distillation

★ 883 2026-08-09