Perceiver-Music-Transformer

用 Perceiver 架构高效生成超长音乐，突破 Transformer 长度限制

Perceiver-Music-Transformer 是 Google Perceiver-AR 架构在音乐生成领域的开源实现，旨在解决长序列音乐建模中计算成本过高的问题。传统 Transformer 对音乐序列（如 MIDI）的注意力复杂度随长度平方增长，难以处理数万 token 的完整乐曲。该项目将 Perceiver 的交叉注意力机制引入音乐生成，通过潜在数组压缩输入序列，使模型能高效处理超长上下文，同时保持生成质量。核心能力包括：基于 Perceiver-AR 的自回归音乐生成、支持可变长度输入、预训练模型权重（SOTA 效果）、以及清晰的训练和推理脚本。项目代码基于 PyTorch，提供数据预处理、模型定义、训练循环和采样示例，便于研究者复现和扩展。它解决了音乐 AI 领域长程依赖与资源消耗的矛盾，为生成完整结构、多声部乐曲提供了新的技术路径。