StyleTTS

用风格迁移让AI语音更有情感和表现力

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 70 🐛 待处理 17 👀 关注 30
GitHub ↗
GitHub 星标 ★ 468
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

StyleTTS 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队yl4579
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型deep-learning,pytorch,speech-synthesis,text-to-speech,tts
GitHub 星标★ 468
上线时间2022-06-01 00:00:00
代码更新2025-01-13
仓库体积113.7 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

StyleTTS 是一个基于 PyTorch 的文本到语音(TTS)合成项目,通过风格迁移技术让合成语音具备多样化的情感和韵律表达。它解决了传统 TTS 系统语音单调、缺乏自然感的问题,核心能力包括解耦内容与风格表征、支持参考音频引导风格生成,以及高表现力的语音输出。项目目前处于早期阶段,代码结构清晰,适合研究者和开发者探索风格化语音合成技术。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 468

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 60 分钟 部署方式:本地GPU 4 步

环境要求

  • Python
  • PyTorch
  • CUDA GPU
  • 语音数据

安装与启动步骤

  1. 1拉代码

    研究工程,含训练与推理。

    git clone https://github.com/yl4579/StyleTTS.git
  2. 2装依赖

    一行装齐,含一个需从源码装的包。

    pip install SoundFile torchaudio munch torch pydub pyyaml librosa git+https://github.com/resemble-ai/monotonic_align.git
  3. 3先训第一阶段

    两阶段训练,顺序不能反。

    python train_first.py --config_path ./Configs/config.yml
  4. 4再训第二阶段

    第二阶段在第一阶段产物上继续。

    python train_second.py --config_path ./Configs/config.yml

如何确认成功

两阶段训练都能跑起来并产出检查点,用检查点合成一段语音能听出目标音色特征

注意事项

  • 它是风格化语音合成的论文实现,两阶段训练是它的核心设计。
  • 依赖里有一个必须从源码装的包,往往是最先卡住的地方。
  • 训练数据要按它要求的目录结构组织,格式不对会在加载阶段报错。
  • 两阶段不能跳,跳过第一阶段的产物第二阶段无法开始。

核心亮点

  • 创新性地解耦内容与风格,支持参考音频控制情感和韵律
  • 基于 PyTorch 实现,代码简洁易读,便于二次开发
  • 为高表现力 TTS 提供了新思路,适合学术研究

不足之处

  • 项目处于早期,文档和社区支持待观察
  • 预训练模型和完整训练流程可能未完善

适用场景

  • 语音助手需要自然情感表达的场景
  • 有声书或播客的自动化配音
  • 游戏或影视角色语音生成

替代项目

Tacotron2、FastSpeech2、VITS

同类项目推荐

ElevenLabs-DotNet 开源

用 C# 快速接入 ElevenLabs,实现高质量语音合成。

A Non-Official ElevenLabs RESTful API Client for dotnet

★ 99 2026-08-09
riffusion-hobby 开源

用 Stable Diffusion 实时生成音乐,输入文字即出旋律

Stable diffusion for real-time music generation

★ 3905 2026-08-09
epub2tts 开源

把电子书一键变成有声书,通勤路上用耳朵读书

Turn an epub or text file into an audiobook

★ 962 2026-08-09
Glosik 开源

在苹果设备上用 Swift 跑通 F5-TTS 语音合成

Sample project for F5-TTS using MLX Swift

★ 55 2026-08-09
voice-cloning-collab 开源

用少量样本实时克隆声音,效果更自然

an improved version of Real-time-voice-cloning

★ 52 2026-08-09
Text-Normalization-Demo 开源

用记忆增强神经网络,一键把口语化文本转成规范写法

Demonstration of the results in "Text Normalization using Memory Augmented Neural Ne···

★ 60 2026-08-09
vampnet 开源

用掩码变换器,让AI按你的提示生成音乐片段

music generation with masked transformers!

★ 357 2026-08-09
KittenTTS 开源

纯 CPU 就能跑的轻量开源语音合成模型

Open-source State-of-the-art TTS model which runs on a CPU

★ 16807 2026-10-25