D2M-GAN

给舞蹈视频自动生成匹配节拍的音乐

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 14 🐛 待处理 5 👀 关注 5
GitHub ↗
GitHub 星标 ★ 85
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，代码公开，可自行部署使用，无付费版本。

项目预览

D2M-GAN 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队L-YeZhu
GitHubhttps://github.com/L-YeZhu/D2M-GAN
定价模式🏷️完全免费
价格说明开源项目，代码公开，可自行部署使用，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型gan,music-generation,vq
GitHub 星标★ 85
上线时间2021-10-19 00:00:00
代码更新2022-08-16
仓库体积30.2 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

D2M-GAN 是一个基于生成对抗网络（GAN）的跨模态音乐生成项目，发表于 ECCV 2022。它解决的核心问题是：给定一段舞蹈视频（无声），自动生成与舞蹈动作在节奏和情感上匹配的背景音乐。项目利用姿态估计提取舞者的动作序列，通过设计的双判别器结构（动作判别器和音频判别器）协同训练，使生成的音乐既能贴合动作的节拍变化，又具备自然的音频连贯性。核心能力包括：从视频中提取动作特征、生成对应风格的旋律和节奏、支持自定义舞蹈视频输入。该模型为舞蹈视频自动配乐、人机交互创作等场景提供了端到端的解决方案，是跨模态生成领域较早探索舞蹈与音乐映射关系的代表性工作。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 85

技术标签

核心亮点

  • 首次提出从舞蹈视频直接生成音乐的GAN框架，跨模态创新性强
  • 双判别器设计同时约束动作对齐和音频质量，生成结果更协调
  • 提供完整的训练和推理代码，便于复现ECCV论文实验

不足之处

  • 依赖预训练姿态估计模型，对视频质量要求较高，低清晰度下效果可能下降
  • 生成音乐时长和风格多样性受限，难以覆盖复杂编曲需求
  • 文档/社区待观察

适用场景

  • 舞蹈视频自动配乐，用于短视频平台或影视后期
  • 辅助音乐创作，为编舞者提供灵感旋律
  • 跨模态AI研究，探索动作与音频的映射关系

替代项目

Dance2Music、Foley Music、Music Gesture

上一篇：MIDI-GPT

下一篇：ismir2019tutorial

同类项目推荐

Thorsten-Voice 开源

免费离线德语TTS，告别许可烦恼，即拿即用

Thorsten-Voice: A free to use, offline working, high quality german TTS voice should···

★ 744 2026-08-09
SNAC 开源

零样本克隆声音，几秒音频即可合成新语音

Unofficial Pytorch implementation of SNAC: Speaker-normalized affine coupling layer ···

★ 57 2026-08-09
dla 开源

一站式音频深度学习工具箱，快速搞定语音识别与合成

Deep learning for audio processing

★ 778 2026-08-09
ace-step-ui 开源

本地无限量生成音乐，免费白嫖 Suno 同款

The Ultimate Open Source Suno Alternative - Professional UI for ACE-Step 1.5 AI Musi···

★ 5195 2026-08-09
pitchtron 开源

让韩语方言TTS说对音调，不再怪腔怪调

TTS for pitch-accented language. Korean dialect DB.

★ 155 2026-08-09
Learn2Sing2.0 开源

让AI模仿你的声音唱歌，用扩散模型实现个性化歌声合成

Diffusion and Mutual Information-Based Target Speaker SVS by Learning from Singing T···

★ 181 2026-08-09
WaveRNN 开源

用 WaveRNN 快速生成高保真语音，让 TTS 更自然流畅

WaveRNN Vocoder + TTS

★ 2190 2026-08-09
DEEPFAKE-AUDIO 开源

给一段声音，克隆出任意人的语音

️ Deepfake Audio – A neural voice cloning studio powered by SV2TTS technology.

★ 76 2026-08-09