MM-Diffusion

一个模型同时生成匹配的音频和视频，告别音画不同步。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署视频生成 🍴 复刻 22 🐛 待处理 17 👀 关注 5

GitHub ↗

GitHub 星标 ★ 455

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，可免费使用和部署。

项目预览

MM-Diffusion 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类视频生成

开发团队researchmm

GitHubhttps://github.com/researchmm/MM-Diffusion

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，可免费使用和部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型audio-generation,content-creation,diffusion-models,multi-modality,video-generation

GitHub 星标★ 455

上线时间2022-12-11 00:00:00

代码更新2024-06-05

仓库体积4.3 MB

本站数据更新2026-11-08

维护状态低维护

收录时间2026-08-09

浏览次数6

项目介绍

MM-Diffusion是CVPR 2023提出的多模态扩散模型，用于联合生成音频和视频。它解决的是传统生成模型只能处理单一模态、难以实现音视频同步生成的问题。核心能力在于通过设计多模态扩散过程，让音频和视频在生成过程中相互约束、协同进化，从而生成时间上对齐、内容上匹配的音视频片段。该模型基于Denoising Diffusion Probabilistic Models（DDPM）扩展而来，支持从文本或类别条件生成短视频及其对应音频。项目提供了完整的训练和推理代码，以及预训练模型，方便研究者复现和二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 455

技术标签

audio-generation content-creation diffusion-models multi-modality video-generation

使用教程

难度：高级约 55 分钟部署方式：本地GPU 5 步

环境要求

NVIDIA GPU（多卡更好）
CUDA 11.x
conda

安装与启动步骤

1拉仓库

音频与视频两条分支都要用到同一份代码。
```
git clone https://github.com/researchmm/MM-Diffusion.git
```
2建环境

官方锁 Python 3.8，新版 Python 上旧版 torch 装不上。
```
conda create -n mmdiffusion python=3.8
```
3装对应 CUDA 的 torch

按本机 CUDA 版本选，装错版本会在第一次前向时报错。
```
conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch-nightly -c nvidia
```
4装分布式依赖

多卡采样脚本依赖 mpi4py。
```
conda install mpi4py
```
5跑一个采样脚本

先用分辨率最低的那条脚本验证链路。
```
bash ssh_scripts/multimodal_sample_sr.sh
```