
LLaSA_training
用LLM算力换自然语音,训练推理双扩展
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 658
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 8 卡 GPU(官方配置)
- PyTorch 与 torchrun
- 约 160k 小时 tokenized 数据
安装与启动步骤
-
1下 tokenized 数据
官方直接提供已离散化的开源语音数据,省掉编解码器那一步。
-
2改训练配置
config.json 里管数据路径、模型规格和并行设置,先照默认改路径即可。
-
3起分布式训练
用 torchrun 指定卡数,单机多卡是最省事的起步方式。
torchrun --nproc_per_node=8 train_tts.py config.json -
4或走 Slurm
有集群就改用提交脚本,配置项和 torchrun 一致。
sbatch run_slurm.sh -
5推理验证音质
训完先用少量文本试听,确认音素与韵律没崩再谈效果。
如何确认成功
train_tts.py 能起训并持续输出 loss,推理脚本能合成可听懂的语音
注意事项
- 官方模型用了 25 万小时数据,开源部分只有 16 万小时,复现效果会有差距。
- 数据编解码器版本必须和权重匹配,否则合成出来是噪声。
- 全量训练成本很高,先小数据跑通再扩。
核心亮点
- 基于LLaMA架构,天然具备强大的语言建模能力,语音自然度高
- 同时扩展训练和推理计算,灵活控制质量与延迟
- 使用XCodec2离散表示,简化语音与文本的统一建模
不足之处
- 早期项目,文档和社区支持尚不完善
- 依赖大规模计算资源,普通开发者难以复现
适用场景
- 高表现力语音合成研究
- 低资源语音克隆与生成
- 多模态LLM语音接口开发
替代项目
VALL-E、XTTS、Bark
上一篇:mlx-tune
同类项目推荐
paradigms
开源
并行采样加速扩散模型,少步生成高质量图像
PyTorch implementation for "Parallel Sampling of Diffusion Models", NeurIPS 2023 Spo···
LoongForge
开源
一套框架,NVIDIA 和昆仑芯通吃,搞定大模型全流程训练
A high-performance framework for training LLMs, VLMs, diffusion, and embodied models···
mergekit
开源
拖拽式合并大模型,轻松融合多个模型能力
Tools for merging pretrained large language models.
TextRL
开源
在任意 HuggingFace 模型上实现 RLHF 微调,让生成更符合人类偏好。
Implementation of ChatGPT RLHF (Reinforcement Learning with Human Feedback) on any g···
aikit
开源
一条命令微调并部署开源大模型,省去繁琐工程配置。
️ Fine-tune, build, and deploy open-source LLMs easily!
DrMAS
开源
把多智能体协作变成可训练环境,让多个 LLM 一起进化
Dr. MAS is an end-to-end RL training framework for multi-agent LLM systems, supporti···
SINQ
开源
把大模型压小,又快又准,ICML 2026 出品
Welcome to the official repository of SINQ! A novel, fast and high-quality quantizat···
ai-edge-quantizer
开源
已训练好的 LiteRT 模型直接量化压缩,端侧部署更小更快
Deprecated: now LiteRT Quantizer
MARS
开源
用方差缩减技术,让大模型训练更快更稳
The official implementation of MARS: Unleashing the Power of Variance Reduction for ···