
StyleTTS2
音色情绪几乎以假乱真,听不出是机器在读
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 6383
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Python 环境(项目开发语言为 Python)
- PyTorch(技术栈包含 pytorch)
- 具备可用显存的 GPU(README 多次提及 OOM 显存不足问题)
- 准备训练用的单说话人或多说话人语音数据
- 准备符合 text|anything 格式的 OOD 文本文件
安装与启动步骤
-
1克隆项目仓库
README 未给出安装命令,先从 GitHub 仓库地址把源码拉到本地,后续按仓库内说明操作。
git clone https://github.com/yl4579/StyleTTS2.git -
2准备 OOD 文本数据
SLM 对抗训练需要分布外文本,每行按 text|anything 格式书写,路径后面要填进 OOD_data。
-
3修改 config.yml
在 Configs/config.yml 中设置 OOD_data 路径,并按需调整 min_length、max_len、multispeaker 等关键项。
-
4按显存调整训练参数
若出现显存不足,调低 max_len(单位为帧,默认 hop size 300),并把 batch_percentage 设小以避免 OOM。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
OOD_data | 是 | 分布外文本路径,供 SLM 对抗训练使用 | /your/path/ood_texts.txt |
min_length | 是 | OOD 文本最小长度,保证合成语音不会过短 | 100 |
max_len | 否 | 训练音频最大长度(单位帧),显存不足时调低 | 500 |
multispeaker | 否 | 训练多说话人模型时设为 true,降噪器结构不同 | true |
batch_percentage | 否 | 控制 SLM 对抗训练批大小,遇 OOM 时调小 | 0.5 |
如何确认成功
README 未给出启动命令;可确认 config.yml 中 OOD_data 指向的文件存在可读、格式正确,且训练未报 OOM 错误。
常见问题
Q:训练时报显存不足(OOM)怎么办?
A:把 config.yml 中的 max_len 调低,或把 batch_percentage 设为更小的数值,可缓解 SLM 对抗训练中的 OOM。
Q:OOD 文本文件要什么格式?
A:每行一条,格式为 text|anything,即文本后用竖线拼接任意内容;同时用 min_length 控制最短长度。
Q:单说话人和多说话人模型配置有何区别?
A:多说话人需把 multispeaker 设为 true,因为降噪器架构在单说话人与多说话人模型之间不同。
Q:max_len 的单位是什么?
A:单位是帧。默认 hop size 为 300,一帧约等于 300/24000 秒(0.0125 秒),据此换算音频时长。
注意事项
- README 节选未包含安装与推理命令,实际环境依赖请以官方仓库最新说明为准。
- 训练前务必先准备好 OOD 文本文件和语音数据,否则 SLM 对抗训练无法进行。
- batch_percentage 调小虽然能避免 OOM,但会影响训练效率,需自行权衡。
核心亮点
- 基于风格扩散与对抗训练,结合大语音模型,实现接近人类水平的自然语音合成
- 支持零样本语音克隆与说话人自适应,少量样本即可迁移音色
- 采用潜在扩散模型与GAN混合架构,在韵律和表现力上显著优于传统TTS
不足之处
- 推理速度较慢,实时性要求高的场景部署成本高
- 训练与调参门槛较高,依赖大规模语音数据和计算资源
适用场景
- 有声书、播客等长文本高质量语音生成
- 个性化语音助手与虚拟角色配音
- 低资源语音克隆与多说话人合成
替代项目
VITS、Tortoise-TTS、XTTS
同类项目推荐
genmusic_demo_list
开源
一站式逛遍AI音乐生成Demo,快速体验前沿技术
a list of demo websites for automatic music generation research
magda-core
开源
用代码和AI驱动音乐制作,让DAW自动化飞起来
An open ecosystem for music production.
speech-studio
开源
一个 exe 搞定离线语音合成、克隆与识别
Free offline AI voice studio for Windows — text-to-speech with cloned and built-in ···
reader
开源
手机拍报纸,秒变电子版,随时读报不费力
毕业设计-基于智能手机的报纸阅读器
TellTime
开源
用英式腔调,动嘴就能知道几点
iOS application to tell the time in the British way ⏰
ttslab
开源
本地免费测任意TTS模型,快速对比效果
TTSLab is THE place to easily test ANY text to text to speech model on your own pc w···
Persian-tts-coqui
开源
用 Coqui 框架训练波斯语语音合成模型,快速上手
Persian/Farsi text to speech(TTS) training using coqui tts
qwen-tts2api
开源
把通义千问 TTS 包装成 OpenAI 接口,一行代码切换语音服务
️ Qwen TTS to OpenAI Speech API
CycleGAN-VC2
开源
无需平行语料,一键实现音色转换
Voice Conversion by CycleGAN (语音克隆/语音转换): CycleGAN-VC2