YuE

写句歌词就出一整首歌,人声伴奏全都有

YuE 是开源的全曲目音乐生成基础模型,功能类似 Suno.ai 但完全开放。支持生成带人声的完整歌曲,涵盖歌词、旋律与编曲,为音乐创作者提供可本地部署、可自由定制的 AI 作曲方案。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 10070
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队multimodal-art-projection
所属国家
定价模式free
价格说明开源模型,Apache-2.0许可,可免费本地部署使用,无在线服务或付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai,audio-generation,deep-learning,foundation-models,gpt,huggingface,llama,llms,music-generation,style-transfers,voice-cloning
GitHub 星标★ 10070
30天Star增速
HF 下载量
上线时间2025-01-23 00:00:00
最近更新2026-09-22 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 7 步

环境要求

  • Linux 操作系统
  • Python 3.12
  • 支持 BF16 的 NVIDIA GPU
  • 至少 24 GB 显存
  • 首次运行需联网从 Hugging Face 下载模型

安装与启动步骤

  1. 1克隆仓库

    把 YuE 源码克隆到本地,命令执行后会生成 YuE 目录

    git clone https://github.com/multimodal-art-projection/YuE.git
  2. 2进入项目目录

    切换到刚克隆下来的 YuE 目录,后续命令都在此目录执行

    cd YuE
  3. 3创建虚拟环境

    用 Python 3.12 创建独立虚拟环境 .venv,避免污染系统环境

    python3.12 -m venv .venv
  4. 4激活虚拟环境

    激活后终端提示符前会出现 (.venv),之后的 pip 与 python 均指向该环境

    source .venv/bin/activate
  5. 5升级 pip

    先升级 pip 到最新版,避免旧版本解析依赖出错

    python -m pip install --upgrade pip
  6. 6安装 YuE2

    按当前目录的 pyproject/setup 安装 YuE2 及其依赖,耗时较长请耐心等待

    python -m pip install .
  7. 7生成第一首歌

    运行示例脚本,首次执行时会自动从 Hugging Face 下载模型文件

    python examples/generate.py --output outputs/first-song

关键配置

配置项必填说明示例
cot否生成模式:full 生成可编辑旋律和弦计划(新歌默认)、melody 用于翻唱、off 直接从歌词和风格生成full
abc否在 full 或 melody 模式下,提供你自己编写的乐谱examples/song.abc
device否Python 接口中指定运行设备,需为支持 BF16 的 CUDA 设备cuda
output否命令行示例脚本的输出目录参数outputs/first-song

如何确认成功

打开 outputs/first-song/audio.flac,能正常播放 48 kHz 立体声歌曲即部署成功。

常见问题

Q:显存不够 24 GB 能跑吗?

A:README 明确要求支持 BF16 且 24 GB 显存的 NVIDIA GPU,显存不足无法按官方方案运行,建议更换硬件。

Q:模型文件要手动下载吗?

A:不需要。模型文件在首次使用时会自动从 Hugging Face 下载,保持网络畅通即可。

Q:想做翻唱用哪种模式?

A:推荐 cot="melody",即使用旋律计划加自由伴奏,README 说明该模式适合翻唱。

Q:原始 YuE 的代码在哪?

A:原始 YuE 的代码、文档和许可证保留在 YuE-v1 分支中,可前往该分支查看。

注意事项

  • 环境必须是 Linux + Python 3.12 + 支持 BF16 的 NVIDIA GPU(24 GB 显存)。
  • YuE2 输出 48 kHz 立体声,不做量化。
  • 输出目录除音频外还保留乐谱、语义 token、声学 latent、生成设置和模型标识。
  • 除命令行脚本外,也可用 Python 接口 YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") 调用。

核心亮点

  • 基于Llama架构的全歌曲生成模型,支持歌词到完整歌曲的端到端生成,超越多数仅生成片段的开源方案
  • 集成HuggingFace生态,提供预训练权重和推理脚本,降低二次开发门槛
  • 支持风格迁移与声音克隆,可定制音色和音乐风格,灵活性高

不足之处

  • 模型参数量大,推理资源需求高,普通开发者难以本地部署
  • 生成歌曲的连贯性和情感表现力与Suno等商业产品仍有差距
  • 文档/社区待观察

适用场景

  • 音乐创作者快速生成Demo或灵感草稿
  • 游戏/视频制作中生成背景音乐或主题曲
  • AI音乐研究,如多模态生成、风格迁移实验

替代项目

MusicGen、Stable Audio、AudioLDM 2

项目介绍

YuE 是音频音乐领域的开源项目,由 multimodal-art-projection 开发,2025 年首次发布。

在全站 13,109 个收录项目中,它的 GitHub 星标数(10,070)位列前 5%,在音频音乐分类的 738 个项目里位列前 3%。

近 41 天,它的 GitHub 星标从 6,375 增加到 10,070,净增 3,695。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-22。Apache-2.0许可,可免费本地部署使用,无在线服务或付费版本。

它主要面向的使用场景是:音乐创作者快速生成Demo或灵感草稿。同类可对比的替代方案包括 MusicGen、Stable Audio、AudioLDM 2。

上一篇:StyleTTS2

下一篇:ace-step-ui

同类项目推荐

tango 开源

输入一句话,自动生成匹配的音频内容

A family of diffusion models for text-to-audio generation.

★ 1239 2026-08-09
AuK 开源

一个模型搞定语音生成、编辑与分离

AuK: An Open-Source Foundational Model for Speech Generation and Editing

★ 1236 2026-09-13
swift-tts 开源

Swift 项目三行代码接入系统 TTS,兼容 TCA 和 Combine

A straightforward package containing version for Swift modern concurrency, Point-Fre···

★ 52 2026-08-09
ai-dj 开源

现场演出中实时用 AI 生成音乐,保持人类掌控

AI music generation for live performance - Standalone (Ableton Link) + VST3/AU. 8 tr···

★ 246 2026-08-09