BayLing-Speech

环境要求

• Python 3.10（README 用 conda 创建 python=3.10 环境）
• 已安装 conda 环境管理工具
• 需能访问 GitHub 与 Hugging Face 下载仓库和模型权重
• 需具备可编译安装 fairseq 与 flash-attn 的环境

安装与启动步骤

1. 1克隆代码仓库

   从 GitHub 拉取 LLaMA-Omni 源码并进入项目目录，后续安装都在该目录下进行。

   git clone https://github.com/ictnlp/LLaMA-Omni
   cd LLaMA-Omni

   复制

2. 2创建并激活环境

   用 conda 新建名为 llama-omni 的 Python 3.10 环境，注意必须激活后再装依赖。

   conda create -n llama-omni python=3.10
   conda activate llama-omni

   复制

3. 3安装项目依赖

   先固定 pip 版本为 24.0，再以可编辑模式安装本项目自身依赖。

   pip install pip==24.0
   pip install -e .

   复制

4. 4安装 fairseq

   单独克隆 PyTorch 官方 fairseq 仓库，关闭构建隔离进行本地安装，耗时较长。

   git clone https://github.com/pytorch/fairseq
   cd fairseq
   pip install -e . --no-build-isolation

   复制

5. 5安装 flash-attention

   同样关闭构建隔离安装 flash-attn，编译较慢，需耐心等待且不要中断。

   pip install flash-attn --no-build-isolation

   复制

6. 6下载语音语言模型

   从 Hugging Face 下载 Llama-3.1-8B-Omni 权重（页面手动下载），README 未给命令行。

7. 7下载 Whisper 编码器

   用 whisper 库下载 large-v3 模型，download_root 指向 models/speech_encoder/。

   import whisper
   model = whisper.load_model("large-v3", download_root="models/speech_encoder/")

   复制

8. 8下载声码器权重

   用 wget 拉取 unit-based HiFi-GAN 声码器的权重文件和 config.json 到 vocoder/ 目录。

   wget https://dl.fbaipublicfiles.com/fairseq/speech_to_speech/vocoder/code_hifigan/mhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj/g_00500000 -P vocoder/
   wget https://dl.fbaipublicfiles.com/fairseq/speech_to_speech/vocoder/code_hifigan/mhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj/config.json -P vocoder/

   复制

关键配置

如何确认成功

README 未给出启动验证命令；确认 pip install -e . 无报错、主模型与 Whisper、声码器文件均已完整下载即可。

常见问题

注意事项

• 步骤必须在激活 llama-omni 这个 conda 环境后执行，否则依赖会装到错误环境。
• fairseq 与 flash-attn 均从源码编译，整体安装时间较长，建议预留充足时间。
• Whisper 的 download_root 与声码器的 vocoder/ 目录需与推理代码中的路径保持一致。
• README 节选未提供推理和评估的具体启动命令，运行前请查阅仓库完整文档。