项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 13399
使用教程
环境要求
- Linux 操作系统
- Python 3.12
- 支持 BF16 的 NVIDIA GPU
- 至少 24 GB 显存
- 首次运行需联网从 Hugging Face 下载模型
安装与启动步骤
-
1克隆仓库
把 YuE 源码克隆到本地,命令执行后会生成 YuE 目录
git clone https://github.com/multimodal-art-projection/YuE.git -
2进入项目目录
切换到刚克隆下来的 YuE 目录,后续命令都在此目录执行
cd YuE -
3创建虚拟环境
用 Python 3.12 创建独立虚拟环境 .venv,避免污染系统环境
python3.12 -m venv .venv -
4激活虚拟环境
激活后终端提示符前会出现 (.venv),之后的 pip 与 python 均指向该环境
source .venv/bin/activate -
5升级 pip
先升级 pip 到最新版,避免旧版本解析依赖出错
python -m pip install --upgrade pip -
6安装 YuE2
按当前目录的 pyproject/setup 安装 YuE2 及其依赖,耗时较长请耐心等待
python -m pip install . -
7生成第一首歌
运行示例脚本,首次执行时会自动从 Hugging Face 下载模型文件
python examples/generate.py --output outputs/first-song
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
cot | 否 | 生成模式:full 生成可编辑旋律和弦计划(新歌默认)、melody 用于翻唱、off 直接从歌词和风格生成 | full |
abc | 否 | 在 full 或 melody 模式下,提供你自己编写的乐谱 | examples/song.abc |
device | 否 | Python 接口中指定运行设备,需为支持 BF16 的 CUDA 设备 | cuda |
output | 否 | 命令行示例脚本的输出目录参数 | outputs/first-song |
如何确认成功
打开 outputs/first-song/audio.flac,能正常播放 48 kHz 立体声歌曲即部署成功。
常见问题
Q:显存不够 24 GB 能跑吗?
A:README 明确要求支持 BF16 且 24 GB 显存的 NVIDIA GPU,显存不足无法按官方方案运行,建议更换硬件。
Q:模型文件要手动下载吗?
A:不需要。模型文件在首次使用时会自动从 Hugging Face 下载,保持网络畅通即可。
Q:想做翻唱用哪种模式?
A:推荐 cot="melody",即使用旋律计划加自由伴奏,README 说明该模式适合翻唱。
Q:原始 YuE 的代码在哪?
A:原始 YuE 的代码、文档和许可证保留在 YuE-v1 分支中,可前往该分支查看。
注意事项
- 环境必须是 Linux + Python 3.12 + 支持 BF16 的 NVIDIA GPU(24 GB 显存)。
- YuE2 输出 48 kHz 立体声,不做量化。
- 输出目录除音频外还保留乐谱、语义 token、声学 latent、生成设置和模型标识。
- 除命令行脚本外,也可用 Python 接口 YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") 调用。
核心亮点
- 基于Llama架构的全歌曲生成模型,支持歌词到完整歌曲的端到端生成,超越多数仅生成片段的开源方案
- 集成HuggingFace生态,提供预训练权重和推理脚本,降低二次开发门槛
- 支持风格迁移与声音克隆,可定制音色和音乐风格,灵活性高
不足之处
- 模型参数量大,推理资源需求高,普通开发者难以本地部署
- 生成歌曲的连贯性和情感表现力与Suno等商业产品仍有差距
- 文档/社区待观察
适用场景
- 音乐创作者快速生成Demo或灵感草稿
- 游戏/视频制作中生成背景音乐或主题曲
- AI音乐研究,如多模态生成、风格迁移实验
替代项目
MusicGen、Stable Audio、AudioLDM 2
上一篇:StyleTTS2
下一篇:ace-step-ui
同类项目推荐
podcast-llm
开源
输入一个标题,自动生成完整AI播客音频
Automatically generate engaging AI podcasts from nothing but an episode title.
Cross-Speaker-Emotion-Transfer
开源
让任意声音说出带指定情感的语音,跨说话人情感迁移。
PyTorch Implementation of ByteDance's Cross-speaker Emotion Transfer Based on Speake···
BVAE-TTS
开源
用贝叶斯变分自编码器生成更自然多样的语音
Official implementation of BVAE-TTS
FlashSpeech
开源
一段参考音频,即刻克隆音色,快速生成自然语音。
ACM MM 2024 FlashSpeech: Efficient Zero-Shot Speech Synthesis
glow-tts
开源
用生成流实现快速、高质量的端到端语音合成
A Generative Flow for Text-to-Speech via Monotonic Alignment Search
murf-python-sdk
开源
一行代码,让 Python 应用开口说话
Python sdk for Murf text to speech API
SoniTranslate
开源
上传视频,自动生成多语言配音,轻松出海
Synchronized Translation for Videos. Video dubbing
pflowtts_pytorch
开源
用 flow matching 快速生成自然语音,复现 NVIDIA 论文效果
Unofficial implementation of NVIDIA P-Flow TTS paper
MOSS-Speech
开源
跳过文字,语音直接对话,更自然更高效
An end-to-end speech-to-speech language model that generates spoken responses withou···
