MMVID

输入文字和图片,自动生成匹配的动态视频

MMVID是一个基于多模态条件约束的视频生成开源项目,来自CVPR 2022论文。它解决的核心问题是:如何根据文本描述和参考图像,生成与内容语义一致、且具有合理时序动态的视频。项目融合了BERT文本编码器、Transformer架构和深度多模态学习技术,能够同时理解文本中的动作语义(“Tell Me How”)和图像中的外观内容(“Show Me What”),并据此合成连贯的视频帧序列。其核心能力包括:文本到视频的生成、图像与文本联合条件生成、以及基于Transformer的时序建模。该实现提供了完整的训练和推理代码,支持自定义数据集,适合研究人员和开发者用于多模态内容生成、视频合成等方向的实验与应用。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 191
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队snap-research
所属国家
定价模式free
价格说明开源项目,提供在线演示页面,可免费体验,无付费版本。
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型bert,deep-learning,multimodal-learning,multimodal-video-generation,text-to-video,transformer,video-generation
GitHub 星标★ 191
30天Star增速
HF 下载量
上线时间2022-03-04 00:00:00
最近更新2026-07-03 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

核心亮点

  • CVPR 2022顶会论文官方实现,算法有学术背书
  • 支持文本+图像多模态条件,生成视频内容更可控
  • 代码结构清晰,基于PyTorch,易于二次开发

不足之处

  • 项目星标数较少,社区活跃度和维护力度待观察
  • 生成视频的分辨率和时长可能有限,需自行验证

适用场景

  • 学术研究:多模态视频生成算法的复现与改进
  • 创意内容生成:根据故事脚本和角色图自动生成动画片段
  • 数据增强:为视频理解模型合成训练样本

替代项目

VideoGPT、TATS (Temporal Autoregressive Transformer)、NUWA

项目介绍

MMVID 是视频领域的开源项目,由 snap-research 开发,2022 年首次发布。

它收录于视频分类,该分类目前共有 472 个项目,GitHub 星标数为 191。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-07-03。提供在线演示页面,可免费体验,无付费版本。从国内网络环境看,可直接访问。

它主要面向的使用场景是:学术研究:多模态视频生成算法的复现与改进。同类可对比的替代方案包括 VideoGPT、TATS (Temporal Autoregressive Transformer)、NUWA。

上一篇:Video-Motion-Customization

下一篇:KandinskyVideo

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
auto-subs 开源

在剪辑软件里直接生成字幕,省去导出导入的麻烦

On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···

★ 4266 2026-08-10