vall-e

3秒参考音频,零样本克隆你的声音

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 6 🐛 待处理 3 👀 关注 10
GitHub ↗
GitHub 星标 ★ 88
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,AGPL-3.0许可,可免费使用和修改,需自行部署。

项目预览

vall-e 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队e-c-k-e-r
定价模式🏷️完全免费
价格说明开源项目,AGPL-3.0许可,可免费使用和修改,需自行部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议AGPL-3.0
主要语言Python
技术栈/模型audio-lm,pytorch,text-to-speech,tts,vall-e
GitHub 星标★ 88
上线时间2023-09-22 00:00:00
代码更新2026-11-04
仓库体积3.2 MB
本站数据更新2026-11-10
维护状态活跃
收录时间2026-08-09
浏览次数6

项目介绍

VALL-E 是一个非官方的 PyTorch 实现,旨在复现微软提出的神经编解码语言模型 VALL-E。该项目解决的核心问题是:如何用极少的参考音频(仅需 3 秒)实现高质量、高相似度的零样本语音合成。其核心能力包括:将文本转换为离散的音频编码序列,并利用语言模型建模其依赖关系,从而生成与说话人音色、韵律高度匹配的语音。项目提供了完整的训练和推理代码,支持自定义数据集,并包含预训练模型权重。由于是早期项目,代码结构清晰,适合研究者和开发者快速上手,但功能上尚未完全对齐原论文,且依赖特定音频编解码器。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 88

技术标签

核心亮点

  • 仅需3秒参考音频即可实现零样本语音克隆,效果接近原论文
  • 基于PyTorch实现,代码结构清晰,便于二次开发和学术研究
  • 支持自定义数据集训练,灵活性高

不足之处

  • 非官方实现,部分细节与原论文存在偏差,功能不完整
  • 依赖特定音频编解码器(如EnCodec),环境配置复杂
  • 文档和社区支持有限,仅处于早期阶段

适用场景

  • 个性化语音合成,如虚拟助手、有声书配音
  • 语音克隆研究,用于说话人音色迁移
  • 低资源场景下的语音合成,如小样本TTS

替代项目

Bark、XTTS、Tortoise-TTS

上一篇:TwitterPiBot

下一篇:resemble-alexa

同类项目推荐

GLM-TTS 开源

几秒克隆音色,还能带情绪说话,让TTS更自然

GLM-TTS: Controllable & Emotion-Expressive Zero-shot TTS with Multi-Reward Reinforce···

★ 1071 2026-08-09
audiblez 开源

把电子书一键变成有声书,通勤路上用耳朵读书

Generate audiobooks from e-books

★ 8862 2026-08-09
Selection-js 开源

选中文本,即刻弹出操作菜单,让复制、搜索、分享一步到位。

A lightweight javascipt library which provides users with a set of options in the fo···

★ 95 2026-08-09
bmusegan 开源

用二值神经元GAN生成复调钢琴曲,适合AI作曲研究

Code for “Convolutional Generative Adversarial Networks with Binary Neurons for Pol···

★ 58 2026-08-09
SNAC 开源

零样本克隆声音,几秒音频即可合成新语音

Unofficial Pytorch implementation of SNAC: Speaker-normalized affine coupling layer ···

★ 57 2026-08-09
lobe-tts 开源

一行代码接入多平台语音合成与识别,服务端浏览器通吃。

Lobe TTS - A high-quality & reliable TTS/STT library for Server and Browser

★ 810 2026-08-09
Perceiver-Music-Transformer 开源

用 Perceiver 架构高效生成超长音乐,突破 Transformer 长度限制

SOTA Google's Perceiver-AR Music Transformer Implementation and Model

★ 104 2026-08-09
F5-TTS 开源

几秒参考音频即可克隆音色,生成自然流畅的中英语音

Official code for "F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with F···

★ 15540 2026-10-25
nonparaSeq2seqVC_code 开源

无需平行语料,实现任意说话人语音转换

Implementation code of non-parallel sequence-to-sequence VC

★ 248 2026-08-09