open-musiclm

输入文字描述，自动生成对应风格的音乐片段

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 65 🐛 待处理 12 👀 关注 15
GitHub ↗
GitHub 星标 ★ 560
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，需自行部署。

项目预览

open-musiclm 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队zhvng
GitHubhttps://github.com/zhvng/open-musiclm
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，需自行部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型artificial-intelligence,attention,music-generation,text-to-music,transformer
GitHub 星标★ 560
上线时间2023-01-29 00:00:00
代码更新2023-06-03
仓库体积1.8 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

open-musiclm 是 MusicLM 的开源实现，MusicLM 是 Google Research 提出的文本生成音乐模型。该项目在原始论文基础上做了若干修改，旨在让开发者能够用文本描述生成对应风格和情绪的音乐片段。它解决了音乐创作门槛高、素材获取难的问题，用户只需输入自然语言描述（如“舒缓的钢琴曲”或“动感的电子舞曲”）即可获得对应的音频输出。核心能力包括：基于语义令牌和声学令牌的两阶段生成架构、支持长序列音乐生成、以及通过条件编码实现文本与音频的对齐。项目使用 Python 编写，依赖深度学习框架，适合研究人员和开发者进行二次开发或实验。由于是早期项目，代码结构相对清晰，便于理解 MusicLM 的核心流程，但尚未提供完整的预训练模型权重，用户需要自行训练。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 560

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 90 分钟 部署方式：本地GPU 5 步

环境要求

  • NVIDIA 显卡
  • 音乐数据集
  • Python 环境

安装与启动步骤

  1. 1克隆

    文本生成音乐的早期实现。

    git clone https://github.com/zhvng/open-musiclm.git

  2. 2建环境

    按仓库说明装，框架版本要对。

    pip install -r requirements.txt

  3. 3分阶段训练

    语义、粗粒度、细粒度要按顺序训。

    python ./scripts/train_semantic_stage.py --results_folder ./results/semantic --training_config ./configs/training/train_musiclm_fma.json

  4. 4训粗粒度

    依赖上一阶段产物。

    python ./scripts/train_coarse_stage.py --results_folder ./results/coarse --training_config ./configs/training/train_musiclm_fma.json

  5. 5训细粒度并生成

    最后一步决定音质。

    python ./scripts/train_fine_stage.py

如何确认成功

按三阶段训练完能根据一段文字描述生成十几秒的音乐，风格与描述相符

注意事项

  • 它是论文复现，不是成品音乐工具。
  • 三阶段有严格依赖，顺序错了白跑。
  • 训练数据与算力需求都很大。
  • 生成时长受模型结构限制，长曲要拼接。

核心亮点

  • 忠实复现 Google MusicLM 核心架构，便于学术研究参考
  • 代码结构模块化，分步实现语义与声学建模，易于理解
  • 支持自定义文本条件，可生成多样风格音乐，扩展性强

不足之处

  • 未提供预训练权重，需自行训练模型，成本较高
  • 文档较少，依赖论文理解细节，上手门槛偏高

适用场景

  • 学术研究：复现论文实验，探索文本到音乐生成
  • 音乐创作辅助：快速生成灵感草稿供作曲家参考
  • 教育演示：作为深度学习生成模型的案例教学

替代项目

MusicLM（官方实现）、AudioLDM、Diffusion-LM

上一篇：musical-neural-net

下一篇：muspy

同类项目推荐

tts-server-android 开源

让安卓手机秒变智能朗读助手，自定义音色和接口

这是一个Android系统TTS应用，内置微软演示接口，可自定义HTTP请求，可导入其他本地TTS引擎···

★ 4542 2026-08-09
MusicTransformer-Pytorch 开源

用 PyTorch 复现 Music Transformer，轻松生成连贯钢琴曲

MusicTransformer written for MaestroV2 using the Pytorch framework for music generat···

★ 262 2026-08-09
optispeech 开源

轻量级 TTS，低资源跑出自然语音

A lightweight end-to-end text-to-speech model

★ 131 2026-08-09
WeeaBlind 开源

一键给外语视频配音，克隆原声，多语言本地化

A program to dub non-english media with modern AI speech synthesis, diarization, and···

★ 325 2026-08-09
voicevox_engine 开源

本地跑日文语音合成，多角色音色随调随用

無料で使える中品質なテキスト読み上げソフトウェア、VOICEVOXの音声合成エンジン

★ 1780 2026-10-27
TalkifyTTS 开源

让 Android 应用秒变 AI 播音员，多模型任选

云端大模型驱动的 Android 语音合成应用（TTS引擎）。支持ChatGPT、Gemini、豆包、腾讯、微···

★ 392 2026-08-09
nanospeech 开源

轻量可改的 TTS 系统，快速上手自定义语音合成

A simple, hackable text-to-speech system in PyTorch and MLX

★ 190 2026-08-09
Unitale 开源

浏览器里一键把剧本变成带音效和配图的有声书

一个基于Indextts和Qwen3TTS的 AI 有声书制作工具。利用 LLM 自动拆解剧本与识别情绪，集成···

★ 240 2026-08-09
MOSS-TTSD 开源

从短音频克隆声音，生成多说话人 expressive 对话

A multilingual model for long-form, multi-speaker dialogue synthesis with flexible s···

★ 1419 2026-08-09