D2M-GAN

给舞蹈视频自动生成匹配节拍的音乐

D2M-GAN 是一个基于生成对抗网络（GAN）的跨模态音乐生成项目，发表于 ECCV 2022。它解决的核心问题是：给定一段舞蹈视频（无声），自动生成与舞蹈动作在节奏和情感上匹配的背景音乐。项目利用姿态估计提取舞者的动作序列，通过设计的双判别器结构（动作判别器和音频判别器）协同训练，使生成的音乐既能贴合动作的节拍变化，又具备自然的音频连贯性。核心能力包括：从视频中提取动作特征、生成对应风格的旋律和节奏、支持自定义舞蹈视频输入。该模型为舞蹈视频自动配乐、人机交互创作等场景提供了端到端的解决方案，是跨模态生成领域较早探索舞蹈与音乐映射关系的代表性工作。

开源 free 音频音乐

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 85

维护状态低维护

是否开源是

定价模式 free

项目数据

分类音频音乐

开发团队L-YeZhu

所属国家

官网地址

GitHubhttps://github.com/L-YeZhu/D2M-GAN

定价模式free

价格说明开源项目，代码公开，可自行部署使用，无付费版本。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型gan,music-generation,vq

GitHub 星标★ 85

30天Star增速

HF 下载量

上线时间2021-10-19 00:00:00

最近更新2025-09-03 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

核心亮点

首次提出从舞蹈视频直接生成音乐的GAN框架，跨模态创新性强
双判别器设计同时约束动作对齐和音频质量，生成结果更协调
提供完整的训练和推理代码，便于复现ECCV论文实验

不足之处

依赖预训练姿态估计模型，对视频质量要求较高，低清晰度下效果可能下降
生成音乐时长和风格多样性受限，难以覆盖复杂编曲需求
文档/社区待观察

适用场景

舞蹈视频自动配乐，用于短视频平台或影视后期
辅助音乐创作，为编舞者提供灵感旋律
跨模态AI研究，探索动作与音频的映射关系

替代项目

Dance2Music、Foley Music、Music Gesture

项目介绍

D2M-GAN 是音频音乐领域的开源项目，由 L-YeZhu 开发，2021 年首次发布。

它收录于音频音乐分类，该分类目前共有 738 个项目，GitHub 星标数为 85。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2025-09-03。代码公开，可自行部署使用，无付费版本。

它主要面向的使用场景是：舞蹈视频自动配乐，用于短视频平台或影视后期。同类可对比的替代方案包括 Dance2Music、Foley Music、Music Gesture。

上一篇：MIDI-GPT

下一篇：ismir2019tutorial