e2-tts-pytorch
几行代码实现零样本语音克隆，让 TTS 不再复杂
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 520
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- PyTorch
- 参考音频
- GPU（建议）
安装与启动步骤
-
1装包
社区实现，一条 pip 装完。
pip install e2-tts-pytorch -
2备参考音频
零样本合成需要一段参考音色。
-
3跑一次合成
用参考音频加目标文本，看效果。
-
4看它的非自回归优势
重点是合成速度与稳定性。
-
5对照自回归方案
不对比就看不出差别。
如何确认成功
用一段十秒参考音频合成一句新文本，音色接近参考且合成速度明显快于自回归方案
注意事项
- 它实现的是非自回归的零样本语音合成，结构上比自回归方案简单。
- 零样本意味着不需要为目标音色训练。
- 参考音频的质量直接决定克隆效果。
- 研究实现为主，生产化还要自己补工程。
核心亮点
- 完全非自回归架构，推理速度快，无需自回归逐步生成
- 零样本克隆：仅需数秒参考音频即可合成新说话人语音
- 代码简洁，基于 PyTorch，易于阅读和二次开发
不足之处
- 早期项目，文档和社区支持待观察
- 依赖特定模型配置，可能对硬件资源有一定要求
适用场景
- 快速搭建语音克隆原型或研究实验
- 为应用集成零样本 TTS 功能，如虚拟助手、有声内容生成
- 教育场景中演示最新 TTS 技术
替代项目
Coqui TTS、XTTS、Bark
上一篇：vixtts-demo
下一篇：ComfyUI-VoxCPM
同类项目推荐
supertonic
开源
离线秒级生成多语言语音，隐私安全不卡顿
Lightning-Fast, On-Device, Multilingual TTS — running natively via ONNX.
MangoByte
开源
在 Discord 里一键播放 Dota 英雄台词，还能 TTS 整活
A discord bot that provides the ability to play dota hero response clips, do tts, an···
omi-read-aloud
开源
复制即朗读，AI 回复用耳朵听
A lightweight macOS menu bar companion that reads copied conversation text and AI re···
TextToTalk
开源
游戏聊天自动朗读，解放双眼，不错过任何重要信息。
Chat TTS plugin for Dalamud. Has support for triggers/exclusions, several TTS provid···
mmt
开源
用 Transformer 一键生成多轨协调的完整音乐
Official Implementation of "Multitrack Music Transformer" (ICASSP 2023)
Audio8_TTS
开源
小模型也能合成自然语音，本地部署更省算力
SOTA-Class TTS at Compact Scale
pypianoroll
开源
把 MIDI 变成钢琴卷帘，方便做音乐 AI 训练和可视化。
A toolkit for working with piano rolls
CDCD
开源
用图像生成音乐，或反之，跨模态创作一键搞定
[ICLR2023] Discrete Contrastive Diffusion for Cross-Modal Music and Image Generation···
PyThaiTTS
开源
用 Python 快速生成自然泰语语音，离线可用
Open Source Thai Text-to-speech library in Python