项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
技术标签
使用教程
—
环境要求
- Python 3.10(项目开发所用版本)
- PyTorch 2.5 或更高版本(支持 Flash Attention 与 Flex Attention)
- uv 依赖管理工具(pip install uv)
- 使用 stable-audio-open-1.0 需先在 Hugging Face 上接受模型条款
安装与启动步骤
-
1安装 uv
官方推荐用 uv 管理依赖,先通过 pip 全局安装 uv,后续所有依赖同步都靠它。
pip install uv -
2克隆仓库
拉取源码并进入项目目录,后续所有命令都在该目录下执行。
git clone https://github.com/Stability-AI/stable-audio-tools.git cd stable-audio-tools -
3安装推理依赖
仅做推理时用基础同步即可,安装完成后即可运行采样与界面脚本。
uv sync -
4安装训练依赖
需要训练或微调时加 train 扩展;想同时用 Gradio 界面再加 ui 扩展。
uv sync --extra train --extra ui -
5可选装FlashAttn
Flash Attention 可提升性能,但不是必需;需按 Flash Attention 仓库说明自行安装。
-
6启动Gradio界面
用预训练模型起一个网页界面试听生成效果,运行前需先在 Hugging Face 接受模型条款。
uv run python run_gradio.py --pretrained-name stabilityai/stable-audio-open-1.0 -
7开始训练
训练由 JSON 配置驱动,需先把 dataset-config 指向自己的数据集配置文件。
uv run python train.py --dataset-config /path/to/config
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
dataset-config | 是 | 训练脚本的数据集与训练配置文件路径(JSON) | /path/to/config |
pretrained-name | 否 | Gradio 界面启动时加载的预训练模型名称 | stabilityai/stable-audio-open-1.0 |
如何确认成功
运行 run_gradio.py 后终端会输出本地访问地址,浏览器打开该地址能看到音频生成界面即成功。
常见问题
Q:加载 stable-audio-open-1.0 报无权限怎么办?
A:需先登录 Hugging Face,在该模型页面接受使用条款并完成授权,然后再启动 Gradio 界面。
Q:不想用 uv,可以用 pip 吗?
A:可以,README 给出替代方案:直接执行 pip install "stable-audio-tools[train]" 安装含训练依赖的包。
Q:只做推理需要装 train 扩展吗?
A:不需要。uv sync 只装推理依赖;训练用 --extra train,需要 Gradio 界面再加 --extra ui。
Q:Flash Attention 必须安装吗?
A:非必需,官方只是推荐用于提升性能,可在 uv sync 之后按 Flash Attention 仓库的说明安装。
注意事项
- 训练与推理均由 JSON 配置文件驱动,定义模型超参、训练设置和数据集信息。
- 脚本统一用 uv run 前缀执行,避免直接调用 python 导致依赖环境不一致。
- PyTorch 2.5+ 是针对 Flash Attention 和 Flex Attention 支持的要求,版本过低可能无法启用。
- README 未给出 Gradio 的具体端口号,请以终端实际输出的地址为准。
核心亮点
- 提供从训练、微调到推理、评估的完整流水线,配置驱动易复现
- 支持文本、音频嵌入等多种条件输入,可做风格迁移与音频续写
- 内置长音频分块生成与交叉淡化,缓解显存限制下的长片段生成
不足之处
- 依赖较重,需自行准备数据集与算力,开箱即用体验有限
- 文档偏研究向,缺少面向应用开发者的端到端示例
适用场景
- 为游戏或视频批量生成匹配场景的背景音乐与音效
- 基于少量音频样本微调模型,生成特定风格的音乐片段
- 研究条件音频生成模型,做消融实验与评估对比
替代项目
AudioCraft、Riffusion
上一篇:ComfyUI-Qwen-TTS
下一篇:没有了!
同类项目推荐
AuK
开源
一个模型搞定语音生成、编辑与分离
AuK: An Open-Source Foundational Model for Speech Generation and Editing
VoiceStudio
开源
开源语音全能工作站,克隆、配音、转录一站式搞定
VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning,···
tango
开源
输入一句话,自动生成匹配的音频内容
A family of diffusion models for text-to-audio generation.
swift-tts
开源
Swift 项目三行代码接入系统 TTS,兼容 TCA 和 Combine
A straightforward package containing version for Swift modern concurrency, Point-Fre···
