AudioMAE-pytorch

用掩码自编码器预训练音频模型，轻松提取通用音频特征

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 6 🐛 待处理 3 👀 关注 2
GitHub ↗
GitHub 星标 ★ 71
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

AudioMAE-pytorch 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队rishikksh20
GitHubhttps://github.com/rishikksh20/AudioMAE-pytorch
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型autoencoder,masked-autoencoder,self-supervised-learning,speech,speech-synthesis,tts
GitHub 星标★ 71
上线时间2022-08-05 00:00:00
代码更新2022-08-08
仓库体积231 KB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

AudioMAE-pytorch 是掩码自编码器（Masked Autoencoder）在音频领域的非官方 PyTorch 实现，基于论文《Masked Autoencoders that Listen》。该项目旨在解决音频表示学习中的自监督预训练问题，通过随机掩蔽音频频谱图的部分区域，并训练模型重建缺失部分，从而学习到通用的音频特征。核心能力包括：支持音频频谱图输入、灵活的掩蔽策略、基于 Transformer 的编码器-解码器架构，以及用于下游任务（如分类）的微调接口。项目代码结构清晰，依赖 PyTorch 和 torchaudio，方便研究者复现实验或在此基础上进行扩展。虽然目前处于早期阶段，但为音频自监督学习提供了可运行的参考实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 71

核心亮点

  • 直接复现论文核心架构，代码简洁易读，适合学习研究
  • 支持自定义掩蔽比例和策略，灵活适配不同实验需求
  • 基于 PyTorch 生态，与 torchaudio 无缝集成，上手门槛低

不足之处

  • 文档/社区待观察
  • 未提供预训练权重，需自行训练，资源消耗较大

适用场景

  • 学术研究：复现 AudioMAE 论文实验，探索音频自监督方法
  • 特征提取：为音频分类、事件检测等任务生成预训练特征
  • 教学示例：作为掩码自编码器在非视觉领域的入门案例

替代项目

MAE-pytorch (视觉掩码自编码器)、AudioMAE (官方实现)、S3PRL (自监督语音表示学习工具包)

上一篇：SyntaSpeech

下一篇：midi2voice

同类项目推荐

VoiceStudioV2 开源

本地跑通的变声、克隆与配音工作台

Local AI voice studio: real-time voice changer, text-to-speech, voice cloning & dubb···

★ 3 2026-11-02
tiktok-voice 开源

一行代码调用 TikTok TTS，免费生成多种语音

Simple Python script to interact with the TikTok TTS API

★ 611 2026-08-09
SLED-TTS 开源

免量化流式TTS，边生成边播放，低延迟语音合成

Streamable Text-to-Speech model using a language modeling approach, without vector q···

★ 110 2026-08-09
easytts 开源

上传小说，一键生成多人有声书，自动分角色朗读。

打造最简单的TTS前端集合，最简单的有声小说制作工作流。基于正则规则对小说进行分句，基于···

★ 149 2026-08-09
voicevox_engine 开源

本地跑日文语音合成，多角色音色随调随用

無料で使える中品質なテキスト読み上げソフトウェア、VOICEVOXの音声合成エンジン

★ 1779 2026-10-27
mimic-recording-studio 开源

Docker 一键部署，网页录制语音样本，训练 Mimic2 专属 TTS 声音

Mimic Recording Studio is a Docker-based application you can install to record voice···

★ 516 2026-08-09
BokeBox 开源

把文章视频一键变成你的专属播客节目

BokeBox: multi-source private AI podcast studio — videos/links/articles/notes → sp···

★ 104 2026-08-09
tihu 开源

让波斯语文本开口说话，离线合成自然语音

Persian Text-To-Speech

★ 85 2026-08-09
talk-to-fengge 开源

克隆声音性格，1秒内实时对话

Talk to 峰哥 — 克隆任何人的声音和性格，实时语音对话，工程延迟 < 1 秒 | Clone anyone···

★ 501 2026-08-09