voicebox-pytorch
用 PyTorch 复现 Meta 最新 TTS 模型，快速跑通语音合成实验
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 705
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.9+
- PyTorch 2.x
- 干净的参考音频
安装与启动步骤
-
1安装包
PyTorch 实现，pip 装完即可导入，不需要额外权重。
pip install voicebox-pytorch -
2准备参考音频
做零样本语音合成时，几秒到十几秒的干净音频效果最好。
-
3跑合成
按包内接口传入文本与参考音频，输出采样率要对齐。
-
4调参对比
不同随机种子和时长设置对音色稳定性影响明显，多跑几组再定。
如何确认成功
能产出可播放的音频文件且音色接近参考
注意事项
- 这是论文实现的复现，接口随版本变动，以仓库当前代码为准。
- 参考音频有背景噪声会明显拖低音质。
核心亮点
- 紧跟前沿：基于 Meta 最新 SOTA TTS 论文，提供非官方实现，便于提前体验
- 代码简洁：PyTorch 实现，模块化设计，易于阅读和二次开发
- 支持多任务：覆盖零样本克隆、跨语言合成、噪声去除等核心能力
不足之处
- 早期项目：功能不完整，可能缺少部分论文细节，稳定性待验证
- 文档/社区待观察：文档较少，社区活跃度低，使用门槛较高
适用场景
- 研究 TTS 新模型，快速复现论文实验
- 在 PyTorch 生态中集成前沿 TTS 能力
- 学习流匹配生成模型在语音领域的应用
替代项目
Coqui TTS、ESPnet-TTS、Bark
上一篇：kokoro-web
下一篇：Transformer-TTS
同类项目推荐
nano-qwen3tts-vllm
开源
给 Qwen3-TTS 装上轻量推理引擎，语音生成快约 3 倍
Qwen3-TTS with nano vLLM-style optimizations for fast text-to-speech generation. Ach···
supertonic
开源
手机上秒级生成多语言语音，离线也能用
Lightning-Fast, On-Device, Multilingual TTS — running natively via ONNX.
edge-tts-webui
开源
打开网页，输入文字，一键生成自然语音
edge-tts webui
Multilingual_Text_to_Speech
开源
一个模型搞定多语言混合语音合成，还能克隆声音
An implementation of Tacotron 2 that supports multilingual experiments with paramete···
Cognitive-Speech-TTS
开源
微软官方TTS示例，快速实现文本转高质量语音
Microsoft Text-to-Speech API Samples
e2-tts-pytorch
开源
几行代码实现零样本语音克隆，让 TTS 不再复杂
Implementation of E2-TTS, "Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TT···
kokoro-tts
开源
命令行一键把电子书和PDF变成有声书
A CLI text-to-speech tool using the Kokoro model, supporting multiple languages, voi···
VODER
开源
一句话克隆你的声音，轻松实现语音转换与合成
Voice Operation and Design Engine with Reproduction capabilities
tetos
开源
一套代码接入多家 TTS 服务，告别厂商锁定
A unified interface for multiple Text-to-Speech (TTS) providers.