StyleTTS2

音色情绪几乎以假乱真,听不出是机器在读

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 716 🐛 待处理 118 👀 关注 80
GitHub ↗
GitHub 星标 ★ 6383
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署使用。

项目预览

StyleTTS2 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队yl4579
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型adversarial-training,deep-learning,diffusion-models,gan,latent-diffusion,latent-diffusion-models,pytorch,speaker-adaptation,speech-synthesis,text-to-speech,tts,wavlm
GitHub 星标★ 6383
上线时间2023-06-14 00:00:00
代码更新2024-08-10
仓库体积133.9 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数12

项目介绍

StyleTTS 2 通过风格扩散与对抗训练,结合大型语音语言模型,实现了接近人类水平的文本转语音。合成语音的自然度与韵律表现力出众,即使无参考语音也能生成高质量语音,代表 TTS 领域的前沿进展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 6383

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 30 分钟 部署方式:本地安装 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目开发语言为 Python)
  • PyTorch(技术栈包含 pytorch)
  • 具备可用显存的 GPU(README 多次提及 OOM 显存不足问题)
  • 准备训练用的单说话人或多说话人语音数据
  • 准备符合 text|anything 格式的 OOD 文本文件

安装与启动步骤

  1. 1克隆项目仓库

    README 未给出安装命令,先从 GitHub 仓库地址把源码拉到本地,后续按仓库内说明操作。

    git clone https://github.com/yl4579/StyleTTS2.git
  2. 2准备 OOD 文本数据

    SLM 对抗训练需要分布外文本,每行按 text|anything 格式书写,路径后面要填进 OOD_data。

  3. 3修改 config.yml

    在 Configs/config.yml 中设置 OOD_data 路径,并按需调整 min_length、max_len、multispeaker 等关键项。

  4. 4按显存调整训练参数

    若出现显存不足,调低 max_len(单位为帧,默认 hop size 300),并把 batch_percentage 设小以避免 OOM。

关键配置

配置项必填说明示例
OOD_data是分布外文本路径,供 SLM 对抗训练使用/your/path/ood_texts.txt
min_length是OOD 文本最小长度,保证合成语音不会过短100
max_len否训练音频最大长度(单位帧),显存不足时调低500
multispeaker否训练多说话人模型时设为 true,降噪器结构不同true
batch_percentage否控制 SLM 对抗训练批大小,遇 OOM 时调小0.5

如何确认成功

README 未给出启动命令;可确认 config.yml 中 OOD_data 指向的文件存在可读、格式正确,且训练未报 OOM 错误。

常见问题

Q:训练时报显存不足(OOM)怎么办?

A:把 config.yml 中的 max_len 调低,或把 batch_percentage 设为更小的数值,可缓解 SLM 对抗训练中的 OOM。

Q:OOD 文本文件要什么格式?

A:每行一条,格式为 text|anything,即文本后用竖线拼接任意内容;同时用 min_length 控制最短长度。

Q:单说话人和多说话人模型配置有何区别?

A:多说话人需把 multispeaker 设为 true,因为降噪器架构在单说话人与多说话人模型之间不同。

Q:max_len 的单位是什么?

A:单位是帧。默认 hop size 为 300,一帧约等于 300/24000 秒(0.0125 秒),据此换算音频时长。

注意事项

  • README 节选未包含安装与推理命令,实际环境依赖请以官方仓库最新说明为准。
  • 训练前务必先准备好 OOD 文本文件和语音数据,否则 SLM 对抗训练无法进行。
  • batch_percentage 调小虽然能避免 OOM,但会影响训练效率,需自行权衡。

核心亮点

  • 基于风格扩散与对抗训练,结合大语音模型,实现接近人类水平的自然语音合成
  • 支持零样本语音克隆与说话人自适应,少量样本即可迁移音色
  • 采用潜在扩散模型与GAN混合架构,在韵律和表现力上显著优于传统TTS

不足之处

  • 推理速度较慢,实时性要求高的场景部署成本高
  • 训练与调参门槛较高,依赖大规模语音数据和计算资源

适用场景

  • 有声书、播客等长文本高质量语音生成
  • 个性化语音助手与虚拟角色配音
  • 低资源语音克隆与多说话人合成

替代项目

VITS、Tortoise-TTS、XTTS

上一篇:MeloTTS

下一篇:YuE

同类项目推荐

genmusic_demo_list 开源

一站式逛遍AI音乐生成Demo,快速体验前沿技术

a list of demo websites for automatic music generation research

★ 800 2026-08-09
magda-core 开源

用代码和AI驱动音乐制作,让DAW自动化飞起来

An open ecosystem for music production.

★ 255 2026-08-09
speech-studio 开源

一个 exe 搞定离线语音合成、克隆与识别

Free offline AI voice studio for Windows — text-to-speech with cloned and built-in ···

★ 226 2026-10-28
reader 开源

手机拍报纸,秒变电子版,随时读报不费力

毕业设计-基于智能手机的报纸阅读器

★ 62 2026-08-09
TellTime 开源

用英式腔调,动嘴就能知道几点

iOS application to tell the time in the British way ⏰

★ 67 2026-08-09
ttslab 开源

本地免费测任意TTS模型,快速对比效果

TTSLab is THE place to easily test ANY text to text to speech model on your own pc w···

★ 56 2026-08-09
Persian-tts-coqui 开源

用 Coqui 框架训练波斯语语音合成模型,快速上手

Persian/Farsi text to speech(TTS) training using coqui tts

★ 220 2026-08-09
qwen-tts2api 开源

把通义千问 TTS 包装成 OpenAI 接口,一行代码切换语音服务

️ Qwen TTS to OpenAI Speech API

★ 88 2026-08-09
CycleGAN-VC2 开源

无需平行语料,一键实现音色转换

Voice Conversion by CycleGAN (语音克隆/语音转换): CycleGAN-VC2

★ 572 2026-08-09