vall-e

环境要求

• Python 3.10.7（README 注明代码仅在该版本下测试过）
• 一块 DeepSpeed 已开发并测试过的 GPU
• 预装 CUDA 或 ROCm 编译器（用于安装本包）
• 训练数据的音频文件后缀为 .wav，对应文本文件后缀为 .normalized.txt

安装与启动步骤

1. 1确认硬件环境

   训练器基于 DeepSpeed，需使用 DeepSpeed 支持并测试过的 GPU，并预装 CUDA 或 ROCm 编译器。

2. 2pip 安装 vall-e

   直接用 pip 从 GitHub 仓库安装，适合只想作为依赖使用的场景。

   pip install git+https://github.com/enhuiz/vall-e

   复制

3. 3或克隆仓库

   若需修改代码或跑训练脚本，可克隆仓库，注意加上 --recurse-submodules 拉取子模块。

   git clone --recurse-submodules https://github.com/enhuiz/vall-e.git

   复制

4. 4准备训练数据

   把数据放入一个目录，例如 data/your_data；音频命名后缀 .wav，文本后缀 .normalized.txt。

5. 5量化音频数据

   用 EnCodec 分词器把音频离散化为神经编解码 token。

   python -m vall_e.emb.qnt data/your_data

   复制

6. 6生成音素

   根据文本生成音素特征，供语言模型训练使用。

   python -m vall_e.emb.g2p data/your_data

   复制

7. 7自定义配置

   在 config/your_data/ 下新建 ar.yml 与 nar.yml，可参考仓库中的示例配置修改。

关键配置

如何确认成功

README 未给出启动验证方式；安装过程无报错、量化与音素脚本正常运行即表示流程通畅。

常见问题

注意事项

• 训练依赖 DeepSpeed，需 GPU 且预装 CUDA 或 ROCm 编译器。
• 代码仅在 Python 3.10.7 环境下测试过。
• 预训练模型尚未发布。
• 官方 Colab 示例过拟合单条语音，不可用于实际合成。