stable-audio-tools

用文本或音频条件,训练并生成可控音乐音效

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 3888
维护状态 较活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类音频音乐
开发团队Stability-AI
所属国家
官网地址
定价模式free
价格说明开源免费,需自行部署
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型
GitHub 星标★ 3888
30天Star增速
HF 下载量
上线时间2023-05-23 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-20
浏览次数0

项目介绍

stable-audio-tools 是 Stability AI 开源的音频生成工具包,提供基于 PyTorch 的条件音频生成模型训练与推理代码。它解决的是音乐、音效等音频内容可控生成的问题:开发者可用文本描述、音频片段或元数据作为条件,生成对应风格的音频。核心能力包括扩散模型的训练与微调、多种条件编码器(文本、音频嵌入)、预训练模型加载、采样与评估脚本,以及支持长音频生成的分块与交叉淡化机制。项目以配置驱动,提供训练、推理、评估的完整流水线,适合研究者和音频工程师二次开发,也可作为构建音乐生成、音效合成应用的底层框架。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:进阶 约 20 分钟 部署方式:本地安装 7 步

环境要求

  • Python 3.10(项目开发所用版本)
  • PyTorch 2.5 或更高版本(支持 Flash Attention 与 Flex Attention)
  • uv 依赖管理工具(pip install uv)
  • 使用 stable-audio-open-1.0 需先在 Hugging Face 上接受模型条款

安装与启动步骤

  1. 1安装 uv

    官方推荐用 uv 管理依赖,先通过 pip 全局安装 uv,后续所有依赖同步都靠它。

    pip install uv
  2. 2克隆仓库

    拉取源码并进入项目目录,后续所有命令都在该目录下执行。

    git clone https://github.com/Stability-AI/stable-audio-tools.git
    cd stable-audio-tools
  3. 3安装推理依赖

    仅做推理时用基础同步即可,安装完成后即可运行采样与界面脚本。

    uv sync
  4. 4安装训练依赖

    需要训练或微调时加 train 扩展;想同时用 Gradio 界面再加 ui 扩展。

    uv sync --extra train --extra ui
  5. 5可选装FlashAttn

    Flash Attention 可提升性能,但不是必需;需按 Flash Attention 仓库说明自行安装。

  6. 6启动Gradio界面

    用预训练模型起一个网页界面试听生成效果,运行前需先在 Hugging Face 接受模型条款。

    uv run python run_gradio.py --pretrained-name stabilityai/stable-audio-open-1.0
  7. 7开始训练

    训练由 JSON 配置驱动,需先把 dataset-config 指向自己的数据集配置文件。

    uv run python train.py --dataset-config /path/to/config

关键配置

配置项必填说明示例
dataset-config是训练脚本的数据集与训练配置文件路径(JSON)/path/to/config
pretrained-name否Gradio 界面启动时加载的预训练模型名称stabilityai/stable-audio-open-1.0

如何确认成功

运行 run_gradio.py 后终端会输出本地访问地址,浏览器打开该地址能看到音频生成界面即成功。

常见问题

Q:加载 stable-audio-open-1.0 报无权限怎么办?

A:需先登录 Hugging Face,在该模型页面接受使用条款并完成授权,然后再启动 Gradio 界面。

Q:不想用 uv,可以用 pip 吗?

A:可以,README 给出替代方案:直接执行 pip install "stable-audio-tools[train]" 安装含训练依赖的包。

Q:只做推理需要装 train 扩展吗?

A:不需要。uv sync 只装推理依赖;训练用 --extra train,需要 Gradio 界面再加 --extra ui。

Q:Flash Attention 必须安装吗?

A:非必需,官方只是推荐用于提升性能,可在 uv sync 之后按 Flash Attention 仓库的说明安装。

注意事项

  • 训练与推理均由 JSON 配置文件驱动,定义模型超参、训练设置和数据集信息。
  • 脚本统一用 uv run 前缀执行,避免直接调用 python 导致依赖环境不一致。
  • PyTorch 2.5+ 是针对 Flash Attention 和 Flex Attention 支持的要求,版本过低可能无法启用。
  • README 未给出 Gradio 的具体端口号,请以终端实际输出的地址为准。

核心亮点

  • 提供从训练、微调到推理、评估的完整流水线,配置驱动易复现
  • 支持文本、音频嵌入等多种条件输入,可做风格迁移与音频续写
  • 内置长音频分块生成与交叉淡化,缓解显存限制下的长片段生成

不足之处

  • 依赖较重,需自行准备数据集与算力,开箱即用体验有限
  • 文档偏研究向,缺少面向应用开发者的端到端示例

适用场景

  • 为游戏或视频批量生成匹配场景的背景音乐与音效
  • 基于少量音频样本微调模型,生成特定风格的音乐片段
  • 研究条件音频生成模型,做消融实验与评估对比

替代项目

AudioCraft、Riffusion

上一篇:ComfyUI-Qwen-TTS

下一篇:没有了!

同类项目推荐

AuK 开源

一个模型搞定语音生成、编辑与分离

AuK: An Open-Source Foundational Model for Speech Generation and Editing

★ 1526 2026-09-13
VoiceStudio 开源

开源语音全能工作站,克隆、配音、转录一站式搞定

VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning,···

★ 76659 2026-08-09
tango 开源

输入一句话,自动生成匹配的音频内容

A family of diffusion models for text-to-audio generation.

★ 1242 2026-08-09
swift-tts 开源

Swift 项目三行代码接入系统 TTS,兼容 TCA 和 Combine

A straightforward package containing version for Swift modern concurrency, Point-Fre···

★ 52 2026-08-09