Perceiver-Music-Transformer

用 Perceiver 架构高效生成超长音乐，突破 Transformer 长度限制

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 9 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 104
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，完全免费，可自行部署使用。

项目预览

Perceiver-Music-Transformer 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队asigalov61
官网地址https://github.com/google-research/perceiver-ar
GitHubhttps://github.com/asigalov61/Perceiver-Music-Transformer
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型artificial-intelligence,google,large-scale-machine-learning,midi,multi-instrumental,music-ai,music-composition,music-generation,music-generation-deep-learning,music-transformer,perceiver-ar,piano-transformer,sota,text-to-music
GitHub 星标★ 104
上线时间2022-10-04 00:00:00
代码更新2023-05-09
仓库体积991.4 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

Perceiver-Music-Transformer 是 Google Perceiver-AR 架构在音乐生成领域的开源实现，旨在解决长序列音乐建模中计算成本过高的问题。传统 Transformer 对音乐序列（如 MIDI）的注意力复杂度随长度平方增长，难以处理数万 token 的完整乐曲。该项目将 Perceiver 的交叉注意力机制引入音乐生成，通过潜在数组压缩输入序列，使模型能高效处理超长上下文，同时保持生成质量。核心能力包括：基于 Perceiver-AR 的自回归音乐生成、支持可变长度输入、预训练模型权重（SOTA 效果）、以及清晰的训练和推理脚本。项目代码基于 PyTorch，提供数据预处理、模型定义、训练循环和采样示例，便于研究者复现和扩展。它解决了音乐 AI 领域长程依赖与资源消耗的矛盾，为生成完整结构、多声部乐曲提供了新的技术路径。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 104

核心亮点

  • 采用 Google Perceiver-AR 架构，支持超长音乐序列（数万 token）生成，突破传统 Transformer 长度限制
  • 提供预训练模型权重，开箱即用，生成效果达到 SOTA
  • 代码结构清晰，包含数据预处理、训练、采样完整流程，易于二次开发

不足之处

  • 项目处于早期阶段，文档和社区支持较少，上手可能需要自行摸索
  • 依赖特定数据集和预处理流程，泛化到其他音乐格式（如音频）需额外工作

适用场景

  • 音乐生成研究：探索长序列音乐的结构化生成，如完整钢琴曲
  • AI 作曲辅助：生成多声部、长篇幅的 MIDI 音乐片段
  • Transformer 架构优化：研究交叉注意力机制在序列建模中的应用

替代项目

Music Transformer、MuseNet、MMM (Multi-track Music Machine)

上一篇：Keras_music_gereration

下一篇：cog-musicgen-remixer

同类项目推荐

OmniVoice 开源

一段参考音频，克隆音色说600+种语言

High-Quality Voice Cloning TTS for 600+ Languages

★ 16389 2026-10-25
Kazakh_TTS 开源

哈萨克语语音合成，271小时多说话人数据直接可用

An expanded version of the previously released Kazakh text-to-speech (KazakhTTS) syn···

★ 163 2026-08-09
text-to-speech 开源

在 Capacitor 应用里一行代码实现文字转语音

⚡️ Capacitor plugin for synthesizing speech from text.

★ 130 2026-08-09
Real-Time-Voice-Cloning 开源

5秒克隆声音，实时生成任意语音

Clone a voice in 5 seconds to generate arbitrary speech in real-time

★ 60236 2026-08-09
Selection-js 开源

选中文本，即刻弹出操作菜单，让复制、搜索、分享一步到位。

A lightweight javascipt library which provides users with a set of options in the fo···

★ 95 2026-08-09
bot-whatsapp 开源

用 Node.js 快速搭建 WhatsApp 多功能机器人，但已停止维护

Unmaintained - Multipurpose WhatsApp Bot using open-wa/wa-automate-nodejs library! ···

★ 91 2026-08-09
Bert-VITS2-MNN 开源

把 Bert-VITS2 塞进手机，离线也能自然发声

A practical on-device BertVITS2 runtime for Android, powered by alibaba-MNN engine···

★ 163 2026-08-09
kokoro-onnx 开源

轻量级 ONNX 加速，让 TTS 在 CPU 上实时发声

TTS with kokoro and onnx runtime

★ 2864 2026-08-09
asmr-dubber 开源

音声作品一键识别翻译配音，产出双语字幕和双语音轨

日语／英语／中文音视频 → 中文/英文配音与字幕。支持音色克隆、双语混音、RTF 空间处理、···

★ 293 2026-09-15