YuE

写句歌词就出一整首歌,人声伴奏全都有

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 1541 🐛 待处理 43 👀 关注 106
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 13399
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源模型,Apache-2.0许可,可免费本地部署使用,无在线服务或付费版本。

项目预览

YuE 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队multimodal-art-projection
定价模式🏷️完全免费
价格说明开源模型,Apache-2.0许可,可免费本地部署使用,无在线服务或付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai,audio-generation,deep-learning,foundation-models,gpt,huggingface,llama,llms,music-generation,style-transfers,voice-cloning
GitHub 星标★ 13399
上线时间2025-01-23 00:00:00
代码更新2026-11-01
仓库体积32.4 MB
本站数据更新2026-11-11
维护状态较活跃
收录时间2026-08-09
浏览次数6

项目介绍

YuE 是开源的全曲目音乐生成基础模型,功能类似 Suno.ai 但完全开放。支持生成带人声的完整歌曲,涵盖歌词、旋律与编曲,为音乐创作者提供可本地部署、可自由定制的 AI 作曲方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 13399

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 7 步

环境要求

  • Linux 操作系统
  • Python 3.12
  • 支持 BF16 的 NVIDIA GPU
  • 至少 24 GB 显存
  • 首次运行需联网从 Hugging Face 下载模型

安装与启动步骤

  1. 1克隆仓库

    把 YuE 源码克隆到本地,命令执行后会生成 YuE 目录

    git clone https://github.com/multimodal-art-projection/YuE.git
  2. 2进入项目目录

    切换到刚克隆下来的 YuE 目录,后续命令都在此目录执行

    cd YuE
  3. 3创建虚拟环境

    用 Python 3.12 创建独立虚拟环境 .venv,避免污染系统环境

    python3.12 -m venv .venv
  4. 4激活虚拟环境

    激活后终端提示符前会出现 (.venv),之后的 pip 与 python 均指向该环境

    source .venv/bin/activate
  5. 5升级 pip

    先升级 pip 到最新版,避免旧版本解析依赖出错

    python -m pip install --upgrade pip
  6. 6安装 YuE2

    按当前目录的 pyproject/setup 安装 YuE2 及其依赖,耗时较长请耐心等待

    python -m pip install .
  7. 7生成第一首歌

    运行示例脚本,首次执行时会自动从 Hugging Face 下载模型文件

    python examples/generate.py --output outputs/first-song

关键配置

配置项必填说明示例
cot否生成模式:full 生成可编辑旋律和弦计划(新歌默认)、melody 用于翻唱、off 直接从歌词和风格生成full
abc否在 full 或 melody 模式下,提供你自己编写的乐谱examples/song.abc
device否Python 接口中指定运行设备,需为支持 BF16 的 CUDA 设备cuda
output否命令行示例脚本的输出目录参数outputs/first-song

如何确认成功

打开 outputs/first-song/audio.flac,能正常播放 48 kHz 立体声歌曲即部署成功。

常见问题

Q:显存不够 24 GB 能跑吗?

A:README 明确要求支持 BF16 且 24 GB 显存的 NVIDIA GPU,显存不足无法按官方方案运行,建议更换硬件。

Q:模型文件要手动下载吗?

A:不需要。模型文件在首次使用时会自动从 Hugging Face 下载,保持网络畅通即可。

Q:想做翻唱用哪种模式?

A:推荐 cot="melody",即使用旋律计划加自由伴奏,README 说明该模式适合翻唱。

Q:原始 YuE 的代码在哪?

A:原始 YuE 的代码、文档和许可证保留在 YuE-v1 分支中,可前往该分支查看。

注意事项

  • 环境必须是 Linux + Python 3.12 + 支持 BF16 的 NVIDIA GPU(24 GB 显存)。
  • YuE2 输出 48 kHz 立体声,不做量化。
  • 输出目录除音频外还保留乐谱、语义 token、声学 latent、生成设置和模型标识。
  • 除命令行脚本外,也可用 Python 接口 YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") 调用。

核心亮点

  • 基于Llama架构的全歌曲生成模型,支持歌词到完整歌曲的端到端生成,超越多数仅生成片段的开源方案
  • 集成HuggingFace生态,提供预训练权重和推理脚本,降低二次开发门槛
  • 支持风格迁移与声音克隆,可定制音色和音乐风格,灵活性高

不足之处

  • 模型参数量大,推理资源需求高,普通开发者难以本地部署
  • 生成歌曲的连贯性和情感表现力与Suno等商业产品仍有差距
  • 文档/社区待观察

适用场景

  • 音乐创作者快速生成Demo或灵感草稿
  • 游戏/视频制作中生成背景音乐或主题曲
  • AI音乐研究,如多模态生成、风格迁移实验

替代项目

MusicGen、Stable Audio、AudioLDM 2

上一篇:StyleTTS2

下一篇:ace-step-ui

同类项目推荐

podcast-llm 开源

输入一个标题,自动生成完整AI播客音频

Automatically generate engaging AI podcasts from nothing but an episode title.

★ 153 2026-08-09
Cross-Speaker-Emotion-Transfer 开源

让任意声音说出带指定情感的语音,跨说话人情感迁移。

PyTorch Implementation of ByteDance's Cross-speaker Emotion Transfer Based on Speake···

★ 193 2026-08-09
BVAE-TTS 开源

用贝叶斯变分自编码器生成更自然多样的语音

Official implementation of BVAE-TTS

★ 172 2026-08-09
FlashSpeech 开源

一段参考音频,即刻克隆音色,快速生成自然语音。

ACM MM 2024 FlashSpeech: Efficient Zero-Shot Speech Synthesis

★ 159 2026-08-09
glow-tts 开源

用生成流实现快速、高质量的端到端语音合成

A Generative Flow for Text-to-Speech via Monotonic Alignment Search

★ 717 2026-08-09
murf-python-sdk 开源

一行代码,让 Python 应用开口说话

Python sdk for Murf text to speech API

★ 109 2026-08-09
SoniTranslate 开源

上传视频,自动生成多语言配音,轻松出海

Synchronized Translation for Videos. Video dubbing

★ 1426 2026-08-09
pflowtts_pytorch 开源

用 flow matching 快速生成自然语音,复现 NVIDIA 论文效果

Unofficial implementation of NVIDIA P-Flow TTS paper

★ 228 2026-08-09
MOSS-Speech 开源

跳过文字,语音直接对话,更自然更高效

An end-to-end speech-to-speech language model that generates spoken responses withou···

★ 148 2026-08-09