vall-e 是音频音乐领域的开源项目，由 e-c-k-e-r 开发，2023 年首次发布。
它收录于音频音乐分类，该分类目前共有 738 个项目，GitHub 星标数为 88。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2025-08-12。AGPL-3.0许可，可免费使用和修改，需自行部署。
它主要面向的使用场景是：个性化语音合成，如虚拟助手、有声书配音。同类可对比的替代方案包括 Bark、XTTS、Tortoise-TTS。
vall-e
3秒参考音频，零样本克隆你的声音
VALL-E 是一个非官方的 PyTorch 实现，旨在复现微软提出的神经编解码语言模型 VALL-E。该项目解决的核心问题是：如何用极少的参考音频（仅需 3 秒）实现高质量、高相似度的零样本语音合成。其核心能力包括：将文本转换为离散的音频编码序列，并利用语言模型建模其依赖关系，从而生成与说话人音色、韵律高度匹配的语音。项目提供了完整的训练和推理代码，支持自定义数据集，并包含预训练模型权重。由于是早期项目，代码结构清晰，适合研究者和开发者快速上手，但功能上尚未完全对齐原论文，且依赖特定音频编解码器。
开源
free
音频音乐
GitHub 星标
★ 88
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类音频音乐
开发团队e-c-k-e-r
所属国家
定价模式free
价格说明开源项目，AGPL-3.0许可，可免费使用和修改，需自行部署。
访问状态
是否开源是
开源协议AGPL-3.0
主要语言Python
技术栈/模型audio-lm,pytorch,text-to-speech,tts,vall-e
GitHub 星标★ 88
30天Star增速
HF 下载量
上线时间2023-09-22 00:00:00
最近更新2025-08-12 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4
使用教程
核心亮点
- 仅需3秒参考音频即可实现零样本语音克隆，效果接近原论文
- 基于PyTorch实现，代码结构清晰，便于二次开发和学术研究
- 支持自定义数据集训练，灵活性高
不足之处
- 非官方实现，部分细节与原论文存在偏差，功能不完整
- 依赖特定音频编解码器（如EnCodec），环境配置复杂
- 文档和社区支持有限，仅处于早期阶段
适用场景
- 个性化语音合成，如虚拟助手、有声书配音
- 语音克隆研究，用于说话人音色迁移
- 低资源场景下的语音合成，如小样本TTS
替代项目
Bark、XTTS、Tortoise-TTS
项目介绍
上一篇：TwitterPiBot
下一篇：resemble-alexa
同类项目推荐
tango
开源
输入一句话，自动生成匹配的音频内容
A family of diffusion models for text-to-audio generation.
AuK
开源
一个模型搞定语音生成、编辑与分离
AuK: An Open-Source Foundational Model for Speech Generation and Editing
swift-tts
开源
Swift 项目三行代码接入系统 TTS，兼容 TCA 和 Combine
A straightforward package containing version for Swift modern concurrency, Point-Fre···
ai-dj
开源
现场演出中实时用 AI 生成音乐，保持人类掌控
AI music generation for live performance - Standalone (Ableton Link) + VST3/AU. 8 tr···