MM-Diffusion 是视频领域的开源项目，由 researchmm 开发，2022 年首次发布。
它收录于视频分类，该分类目前共有 472 个项目，GitHub 星标数为 453。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-08。MIT许可证，可免费使用和部署。
它主要面向的使用场景是：短视频自动配音。同类可对比的替代方案包括 VideoFusion、Imagen Video、Make-A-Video。
MM-Diffusion
一个模型同时生成匹配的音频和视频，告别音画不同步。
MM-Diffusion是CVPR 2023提出的多模态扩散模型，用于联合生成音频和视频。它解决的是传统生成模型只能处理单一模态、难以实现音视频同步生成的问题。核心能力在于通过设计多模态扩散过程，让音频和视频在生成过程中相互约束、协同进化，从而生成时间上对齐、内容上匹配的音视频片段。该模型基于Denoising Diffusion Probabilistic Models（DDPM）扩展而来，支持从文本或类别条件生成短视频及其对应音频。项目提供了完整的训练和推理代码，以及预训练模型，方便研究者复现和二次开发。
开源
free
视频生成
GitHub 星标
★ 453
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类视频生成
开发团队researchmm
所属国家
定价模式free
价格说明开源项目，MIT许可证，可免费使用和部署。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型audio-generation,content-creation,diffusion-models,multi-modality,video-generation
GitHub 星标★ 453
30天Star增速
HF 下载量
上线时间2022-12-11 00:00:00
最近更新2026-09-08 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5
使用教程
核心亮点
- 首次实现音频视频联合扩散生成，音画同步性强
- 基于CVPR论文，方法有理论保障，代码结构清晰
- 提供预训练权重，可直接体验效果
不足之处
- 生成视频分辨率低（16x16），实用性受限
- 依赖特定数据集（如Landscape），泛化能力待验证
- 文档/社区待观察
适用场景
- 短视频自动配音
- 虚拟场景内容创作
- 多模态生成研究
替代项目
VideoFusion、Imagen Video、Make-A-Video
项目介绍
上一篇：CVPR23_LFDM
下一篇：flatten
同类项目推荐
MoneyPrinterTurbo
开源
输入一句话，高清短视频自动出炉，文案配音全包了
利用 AI 大模型和自动化工作流，根据主题或关键词一键生成高清短视频。Generate HD short ···
seedance-2.0-api
开源
快速上手字节Seedance 2.0，文本/图片一键生成视频
Seedance 2.0 API — text-to-video and image-to-video examples
openscreen
开源
免费无水印录屏做演示，替代 Screen Studio
Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···
auto-subs
开源
在剪辑软件里直接生成字幕，省去导出导入的麻烦
On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···