LLaSA_training

用LLM算力换自然语音,训练推理双扩展

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 49 🐛 待处理 36 👀 关注 24
GitHub ↗
GitHub 星标 ★ 658
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,完全免费

项目预览

LLaSA_training 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队zhenye234
定价模式🏷️完全免费
价格说明开源项目,本地部署,完全免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型llama,llm,text-to-speech,xcodec2
GitHub 星标★ 658
上线时间2025-01-08 00:00:00
代码更新2026-01-21
仓库体积1.9 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

LLaSA是一个基于LLaMA架构的语音合成项目,旨在通过扩展训练和推理时的计算量来提升语音生成质量。它解决了传统TTS模型在自然度和表现力上的不足,将语音离散化为XCodec2 token,并利用LLM的上下文学习能力进行建模。核心能力包括支持大规模并行训练、灵活的推理时计算扩展(如多次采样与重排),以及基于文本和语音的联合建模。项目提供完整的训练和推理代码,适合研究者和开发者探索高质量语音合成。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 658

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 180 分钟 部署方式:多卡训练 5 步

环境要求

  • 8 卡 GPU(官方配置)
  • PyTorch 与 torchrun
  • 约 160k 小时 tokenized 数据

安装与启动步骤

  1. 1下 tokenized 数据

    官方直接提供已离散化的开源语音数据,省掉编解码器那一步。

  2. 2改训练配置

    config.json 里管数据路径、模型规格和并行设置,先照默认改路径即可。

  3. 3起分布式训练

    用 torchrun 指定卡数,单机多卡是最省事的起步方式。

    torchrun --nproc_per_node=8 train_tts.py config.json
  4. 4或走 Slurm

    有集群就改用提交脚本,配置项和 torchrun 一致。

    sbatch run_slurm.sh
  5. 5推理验证音质

    训完先用少量文本试听,确认音素与韵律没崩再谈效果。

如何确认成功

train_tts.py 能起训并持续输出 loss,推理脚本能合成可听懂的语音

注意事项

  • 官方模型用了 25 万小时数据,开源部分只有 16 万小时,复现效果会有差距。
  • 数据编解码器版本必须和权重匹配,否则合成出来是噪声。
  • 全量训练成本很高,先小数据跑通再扩。

核心亮点

  • 基于LLaMA架构,天然具备强大的语言建模能力,语音自然度高
  • 同时扩展训练和推理计算,灵活控制质量与延迟
  • 使用XCodec2离散表示,简化语音与文本的统一建模

不足之处

  • 早期项目,文档和社区支持尚不完善
  • 依赖大规模计算资源,普通开发者难以复现

适用场景

  • 高表现力语音合成研究
  • 低资源语音克隆与生成
  • 多模态LLM语音接口开发

替代项目

VALL-E、XTTS、Bark

上一篇:mlx-tune

下一篇:easevoice-trainer

同类项目推荐

paradigms 开源

并行采样加速扩散模型,少步生成高质量图像

PyTorch implementation for "Parallel Sampling of Diffusion Models", NeurIPS 2023 Spo···

★ 159 2026-08-09
LoongForge 开源

一套框架,NVIDIA 和昆仑芯通吃,搞定大模型全流程训练

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models···

★ 831 2026-08-13
mergekit 开源

拖拽式合并大模型,轻松融合多个模型能力

Tools for merging pretrained large language models.

★ 7441 2026-08-09
TextRL 开源

在任意 HuggingFace 模型上实现 RLHF 微调,让生成更符合人类偏好。

Implementation of ChatGPT RLHF (Reinforcement Learning with Human Feedback) on any g···

★ 563 2026-08-09
aikit 开源

一条命令微调并部署开源大模型,省去繁琐工程配置。

️ Fine-tune, build, and deploy open-source LLMs easily!

★ 543 2026-08-09
DrMAS 开源

把多智能体协作变成可训练环境,让多个 LLM 一起进化

Dr. MAS is an end-to-end RL training framework for multi-agent LLM systems, supporti···

★ 172 2026-10-07
SINQ 开源

把大模型压小,又快又准,ICML 2026 出品

Welcome to the official repository of SINQ! A novel, fast and high-quality quantizat···

★ 635 2026-08-09
ai-edge-quantizer 开源

已训练好的 LiteRT 模型直接量化压缩,端侧部署更小更快

Deprecated: now LiteRT Quantizer

★ 216 2026-10-17
MARS 开源

用方差缩减技术,让大模型训练更快更稳

The official implementation of MARS: Unleashing the Power of Variance Reduction for ···

★ 725 2026-08-09