MimicMotion

上传一张照片和动作序列,生成逼真的人物动态视频

MimicMotion 是一个高质量人体运动视频生成工具,基于扩散模型,通过置信度感知的姿态引导来生成逼真的人物动作视频。它解决了传统姿态驱动视频生成中动作不自然、细节模糊和长视频生成困难的问题。核心能力包括:利用姿态置信度图动态调整生成过程中的引导强度,避免错误姿态对生成结果的负面影响;支持任意长度视频生成,通过运动模板和帧间平滑技术保持时间一致性;提供区域感知的渐进式生成策略,提升复杂场景下的生成质量。项目提供完整的训练和推理代码,支持自定义姿态序列和参考人物图像,适用于虚拟人动画、动作迁移、影视预可视化等场景。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 2665
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队Tencent
所属国家
定价模式free
价格说明开源项目,提供在线演示页面,可免费体验,无付费版本。
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型diffusion-models,video-generation
GitHub 星标★ 2665
30天Star增速
HF 下载量
上线时间2024-06-24 00:00:00
最近更新2026-09-23 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 4 步

环境要求

  • Python 3+ 与 PyTorch 2.x 环境
  • Conda 环境管理工具
  • Nvidia GPU(官方在 V100 上验证通过)
  • 显存 16GB 起步;16 帧 U-Net 最低 8GB,但 VAE 解码器需 16GB

安装与启动步骤

  1. 1创建Conda环境

    在项目根目录执行,依据 environment.yaml 安装 Python 3+、torch 2.x 等全部依赖,下载体积较大耗时较长。

    conda env create -f environment.yaml
  2. 2激活环境

    激活刚创建好的 mimicmotion 环境,之后的运行操作都要在这个环境里进行。

    conda activate mimicmotion
  3. 3按显存调整帧数

    初始版本模型最多生成 72 帧、576x1024 分辨率;若提示显存不足,可适当减少生成帧数。

  4. 4VAE解码器改用CPU

    16 帧 U-Net 最低需 8GB 显存,但 VAE 解码器需 16GB;显存不够时可选在 CPU 上运行 VAE 解码。

关键配置

配置项必填说明示例
帧数(frames)否初始版本模型最大支持 72 帧,显存不足时需调低72
分辨率(resolution)否官方支持的生成分辨率上限576x1024
VAE 解码设备否显存不足时可选择把 VAE 解码器放到 CPU 上运行cpu

如何确认成功

执行 conda activate mimicmotion 无报错,且显卡显存满足 8GB/16GB 要求,即视为环境就绪(README 未给出推理启动命令)。

常见问题

Q:显存不够怎么办?

A:可适当减少生成帧数;另外 VAE 解码器需要 16GB 显存,显存不足时可选择在 CPU 上运行 VAE 解码器,速度会变慢。

Q:能生成多长的视频?

A:初始版本模型支持最多 72 帧、576x1024 分辨率;官方 35 秒演示视频用 72 帧模型在 4090 上约 20 分钟完成。

Q:对硬件有什么要求?

A:官方在 Nvidia V100 上验证,推荐 Python 3+ 搭配 torch 2.x;72 帧模型需 16GB 显存(4060ti 可跑),16 帧 U-Net 最低 8GB。

注意事项

  • 初始版本模型最大 72 帧、576x1024 分辨率,超出需自行裁剪或分段。
  • README 节选未给出推理、训练的具体启动命令,请以官方仓库和项目页说明为准。
  • 依赖安装依赖 environment.yaml 文件,需在仓库根目录执行。

核心亮点

  • 置信度感知的姿态引导,有效抑制错误姿态导致的生成畸变
  • 支持任意长度视频生成,通过运动模板保持时间一致性
  • 区域感知渐进式生成,在复杂背景和遮挡下仍能保持高质量

不足之处

  • 对输入姿态序列的准确性要求较高,低质量姿态会显著影响效果
  • 文档/社区待观察

适用场景

  • 虚拟主播和数字人视频制作
  • 影视预可视化与动作预览
  • 运动教学视频的自动生成

替代项目

Animate Anyone、MagicAnimate、ControlVideo

项目介绍

MimicMotion 是视频领域的开源项目,由 Tencent 开发,2024 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(2,665)位列前 30%,在视频分类的 472 个项目里位列前 10%。

近 45 天,它的 GitHub 星标从 2,637 增加到 2,665,净增 28。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-23。提供在线演示页面,可免费体验,无付费版本。从国内网络环境看,可直接访问。

它主要面向的使用场景是:虚拟主播和数字人视频制作。同类可对比的替代方案包括 Animate Anyone、MagicAnimate、ControlVideo。

上一篇:ReCamMaster

下一篇:DAWN-pytorch

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
auto-subs 开源

在剪辑软件里直接生成字幕,省去导出导入的麻烦

On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···

★ 4266 2026-08-10