
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 468
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python
- PyTorch
- CUDA GPU
- 语音数据
安装与启动步骤
-
1拉代码
研究工程,含训练与推理。
git clone https://github.com/yl4579/StyleTTS.git -
2装依赖
一行装齐,含一个需从源码装的包。
pip install SoundFile torchaudio munch torch pydub pyyaml librosa git+https://github.com/resemble-ai/monotonic_align.git -
3先训第一阶段
两阶段训练,顺序不能反。
python train_first.py --config_path ./Configs/config.yml -
4再训第二阶段
第二阶段在第一阶段产物上继续。
python train_second.py --config_path ./Configs/config.yml
如何确认成功
两阶段训练都能跑起来并产出检查点,用检查点合成一段语音能听出目标音色特征
注意事项
- 它是风格化语音合成的论文实现,两阶段训练是它的核心设计。
- 依赖里有一个必须从源码装的包,往往是最先卡住的地方。
- 训练数据要按它要求的目录结构组织,格式不对会在加载阶段报错。
- 两阶段不能跳,跳过第一阶段的产物第二阶段无法开始。
核心亮点
- 创新性地解耦内容与风格,支持参考音频控制情感和韵律
- 基于 PyTorch 实现,代码简洁易读,便于二次开发
- 为高表现力 TTS 提供了新思路,适合学术研究
不足之处
- 项目处于早期,文档和社区支持待观察
- 预训练模型和完整训练流程可能未完善
适用场景
- 语音助手需要自然情感表达的场景
- 有声书或播客的自动化配音
- 游戏或影视角色语音生成
替代项目
Tacotron2、FastSpeech2、VITS
同类项目推荐
用 C# 快速接入 ElevenLabs,实现高质量语音合成。
A Non-Official ElevenLabs RESTful API Client for dotnet
riffusion-hobby
开源
用 Stable Diffusion 实时生成音乐,输入文字即出旋律
Stable diffusion for real-time music generation
epub2tts
开源
把电子书一键变成有声书,通勤路上用耳朵读书
Turn an epub or text file into an audiobook
Glosik
开源
在苹果设备上用 Swift 跑通 F5-TTS 语音合成
Sample project for F5-TTS using MLX Swift
voice-cloning-collab
开源
用少量样本实时克隆声音,效果更自然
an improved version of Real-time-voice-cloning
Text-Normalization-Demo
开源
用记忆增强神经网络,一键把口语化文本转成规范写法
Demonstration of the results in "Text Normalization using Memory Augmented Neural Ne···
esp8266-google-tts
开源
用ESP8266连WiFi,把文字变成语音播出来
vampnet
开源
用掩码变换器,让AI按你的提示生成音乐片段
music generation with masked transformers!
KittenTTS
开源
纯 CPU 就能跑的轻量开源语音合成模型
Open-source State-of-the-art TTS model which runs on a CPU