riffusion-app-hobby

用 Stable Diffusion 实时生成音乐,输入文字即可创作独特旋律

riffusion-app-hobby 是一个基于 Stable Diffusion 的实时音乐生成 Web 应用,将图像生成模型应用于音频频谱图,实现从文本或图像生成音乐。它解决了传统音乐生成模型难以实时交互的问题,提供了直观的网页界面,用户可以通过调整参数实时生成和试听音乐片段。核心能力包括:将音频转换为频谱图并用扩散模型生成新频谱图再还原为音频,支持文本提示词生成音乐、音频风格转换、节奏与音色控制,以及通过 Three.js 实现可视化反馈。项目使用 Next.js 构建,适合音乐爱好者、艺术家和开发者探索 AI 音乐创作。

开源 unknown 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 2673
维护状态 低维护
是否开源
定价模式 unknown

项目数据

分类图像生成
开发团队riffusion
所属国家
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源
开源协议MIT
主要语言TypeScript
技术栈/模型ai,audio,diffusion,music,nextjs,stable-diffusion,threejs
GitHub 星标★ 2673
30天Star增速
HF 下载量
上线时间2022-11-20 00:00:00
最近更新2026-09-18 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

难度:进阶 约 10 分钟 部署方式:本地安装 5 步

环境要求

  • Node.js v18 或更高版本(用 node --version 确认)
  • npm 或 yarn 包管理器
  • 如需真正生成音乐,需要一台能 5 秒内跑完 stable diffusion 的大显存 GPU 机器,并部署 riffusion-inference 推理服务
  • 可访问 GitHub 与 npm 源(首次安装依赖需要联网)

安装与启动步骤

  1. 1检查 Node 版本

    打开终端执行命令,确认输出为 v18 或更高。版本过低会导致 Next.js 启动失败,需先升级 Node。

    node --version
  2. 2安装项目依赖

    在仓库根目录执行 npm install 安装 Next.js、React、three.js、Tailwind 等依赖,首次安装耗时较长。

    npm install
  3. 3启动开发服务器

    运行开发模式,Next.js 会启动本地服务并支持热更新。也可用 yarn dev 代替 npm run dev。

    npm run dev
    yarn dev
  4. 4浏览器打开应用

    在浏览器访问 http://localhost:3000 即可看到应用首页,页面源码在 pages/index.js,关于页在 pages/about.tsx。

  5. 5接入推理服务

    仅启动前端无法生成模型输出。需先按 riffusion-inference 仓库说明用 GPU 跑 Flask 推理服务,再在根目录新建 .env.local 指定其 URL。

如何确认成功

终端出现开发服务器就绪提示且无报错,浏览器打开 http://localhost:3000 能看到 Riffusion 应用首页。

常见问题

Q:必须部署推理服务器才能用吗?

A:不部署也能启动网页并浏览界面,但生成音频需要后端模型输出,必须另跑 riffusion-inference 服务并在 .env.local 中填写其地址。

Q:可以用 yarn 代替 npm 吗?

A:可以,README 给出 npm run dev 与 yarn dev 两种启动方式,依赖安装对应使用 yarn install 即可。

Q:这个项目还在维护吗?

A:README 顶部明确标注项目已不再积极维护,遇到依赖版本或接口问题可能不会得到修复。

Q:推理服务放在哪里?

A:README 指向 hmartiro/riffusion-inference 仓库,按其说明克隆并运行 Flask app,本仓库只负责前端界面与调用。

注意事项

  • 项目已停止积极维护,仅适合学习或实验用途。
  • README 中 .env.local 的具体配置项名称被截断,请以原仓库 Inference Server 一节为准,不要凭猜测填写键名。
  • 推理服务对 GPU 要求较高(需在 5 秒内完成一次 stable diffusion 推理),普通笔记本难以满足。
  • 页面自动热更新,修改 pages/index.js 后无需重启即可看到变化。

核心亮点

  • 实时生成:基于 Web 界面,参数调整后秒级生成音频,交互流畅
  • 技术新颖:将图像扩散模型迁移到音频频谱图,思路独特且可玩性强
  • 可视化体验:Three.js 提供频谱图 3D 可视化,创作过程直观有趣

不足之处

  • 生成音乐质量有限,复杂旋律和和声表现力不足
  • 文档/社区待观察:项目处于早期,教程和社区资源较少

适用场景

  • 音乐人快速生成灵感片段或背景音乐
  • 开发者学习扩散模型在音频领域的应用
  • 艺术家创作互动式声音艺术装置

替代项目

AudioLDM、MusicGen、Diffusion-LM

项目介绍

riffusion-app-hobby 是音频音乐领域的开源项目,由 riffusion 开发,2022 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(2,673)位列前 30%,在音频音乐分类的 738 个项目里位列前 9%。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-18。从国内网络环境看,当前已无法正常访问。

它主要面向的使用场景是:音乐人快速生成灵感片段或背景音乐。同类可对比的替代方案包括 AudioLDM、MusicGen、Diffusion-LM。

上一篇:riffusion-hobby

下一篇:so-vits-models

同类项目推荐

tango 开源

输入一句话,自动生成匹配的音频内容

A family of diffusion models for text-to-audio generation.

★ 1239 2026-08-09
AuK 开源

一个模型搞定语音生成、编辑与分离

AuK: An Open-Source Foundational Model for Speech Generation and Editing

★ 1236 2026-09-13
swift-tts 开源

Swift 项目三行代码接入系统 TTS,兼容 TCA 和 Combine

A straightforward package containing version for Swift modern concurrency, Point-Fre···

★ 52 2026-08-09
ai-dj 开源

现场演出中实时用 AI 生成音乐,保持人类掌控

AI music generation for live performance - Standalone (Ableton Link) + VST3/AU. 8 tr···

★ 245 2026-08-09