MimicMotion

上传一张照片和动作序列,生成逼真的人物动态视频

开源 🏷️完全免费 ✅ 目前可打开 视频生成 🍴 复刻 251 🐛 待处理 93 👀 关注 31
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 2690
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,提供在线演示页面,可免费体验,无付费版本。

项目预览

MimicMotion 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队Tencent
定价模式🏷️完全免费
价格说明开源项目,提供在线演示页面,可免费体验,无付费版本。
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型diffusion-models,video-generation
GitHub 星标★ 2690
上线时间2024-06-24 00:00:00
代码更新2025-11-18
仓库体积125.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

MimicMotion 是一个高质量人体运动视频生成工具,基于扩散模型,通过置信度感知的姿态引导来生成逼真的人物动作视频。它解决了传统姿态驱动视频生成中动作不自然、细节模糊和长视频生成困难的问题。核心能力包括:利用姿态置信度图动态调整生成过程中的引导强度,避免错误姿态对生成结果的负面影响;支持任意长度视频生成,通过运动模板和帧间平滑技术保持时间一致性;提供区域感知的渐进式生成策略,提升复杂场景下的生成质量。项目提供完整的训练和推理代码,支持自定义姿态序列和参考人物图像,适用于虚拟人动画、动作迁移、影视预可视化等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2690

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 4 步

环境要求

  • Python 3+ 与 PyTorch 2.x 环境
  • Conda 环境管理工具
  • Nvidia GPU(官方在 V100 上验证通过)
  • 显存 16GB 起步;16 帧 U-Net 最低 8GB,但 VAE 解码器需 16GB

安装与启动步骤

  1. 1创建Conda环境

    在项目根目录执行,依据 environment.yaml 安装 Python 3+、torch 2.x 等全部依赖,下载体积较大耗时较长。

    conda env create -f environment.yaml
  2. 2激活环境

    激活刚创建好的 mimicmotion 环境,之后的运行操作都要在这个环境里进行。

    conda activate mimicmotion
  3. 3按显存调整帧数

    初始版本模型最多生成 72 帧、576x1024 分辨率;若提示显存不足,可适当减少生成帧数。

  4. 4VAE解码器改用CPU

    16 帧 U-Net 最低需 8GB 显存,但 VAE 解码器需 16GB;显存不够时可选在 CPU 上运行 VAE 解码。

关键配置

配置项必填说明示例
帧数(frames)否初始版本模型最大支持 72 帧,显存不足时需调低72
分辨率(resolution)否官方支持的生成分辨率上限576x1024
VAE 解码设备否显存不足时可选择把 VAE 解码器放到 CPU 上运行cpu

如何确认成功

执行 conda activate mimicmotion 无报错,且显卡显存满足 8GB/16GB 要求,即视为环境就绪(README 未给出推理启动命令)。

常见问题

Q:显存不够怎么办?

A:可适当减少生成帧数;另外 VAE 解码器需要 16GB 显存,显存不足时可选择在 CPU 上运行 VAE 解码器,速度会变慢。

Q:能生成多长的视频?

A:初始版本模型支持最多 72 帧、576x1024 分辨率;官方 35 秒演示视频用 72 帧模型在 4090 上约 20 分钟完成。

Q:对硬件有什么要求?

A:官方在 Nvidia V100 上验证,推荐 Python 3+ 搭配 torch 2.x;72 帧模型需 16GB 显存(4060ti 可跑),16 帧 U-Net 最低 8GB。

注意事项

  • 初始版本模型最大 72 帧、576x1024 分辨率,超出需自行裁剪或分段。
  • README 节选未给出推理、训练的具体启动命令,请以官方仓库和项目页说明为准。
  • 依赖安装依赖 environment.yaml 文件,需在仓库根目录执行。

核心亮点

  • 置信度感知的姿态引导,有效抑制错误姿态导致的生成畸变
  • 支持任意长度视频生成,通过运动模板保持时间一致性
  • 区域感知渐进式生成,在复杂背景和遮挡下仍能保持高质量

不足之处

  • 对输入姿态序列的准确性要求较高,低质量姿态会显著影响效果
  • 文档/社区待观察

适用场景

  • 虚拟主播和数字人视频制作
  • 影视预可视化与动作预览
  • 运动教学视频的自动生成

替代项目

Animate Anyone、MagicAnimate、ControlVideo

上一篇:ReCamMaster

下一篇:DAWN-pytorch

同类项目推荐

Awesome-Open-AI-Sora 开源

一站式收藏Sora资源,快速跟上AI视频生成前沿

Sora AI Awesome List – Your go-to resource hub for all things Sora AI, OpenAI's gro···

★ 260 2026-08-09
AIEV 开源

上传素材,AI 自动剪辑出带动态字幕的成品视频

Automatic AI video editing. Claude directs HyperFrames (HTML + GSAP motion graphics)···

★ 156 2026-08-09
video-to-video 开源

上传随手拍视频,自动生成新视角重拍画面

[CVPRW 2026] Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshoot···

★ 80 2026-08-09
movie-narrator 开源

一句话提示,自动生成带解说的电影解说视频

Generate narrated movie recap videos from a single prompt.

★ 1143 2026-10-04
Promptus 开源

用提示词流替代视频流,极低带宽下传输视频

Official impl. of AAAI Oral Paper "Promptus: Can Prompts Streaming Replace Video Str···

★ 101 2026-08-09
ShotStream 开源

边聊边生成多镜头视频,像导演一样实时讲故事

[ECCV 2026] ShotStream: Streaming Multi-Shot Video Generation for Interactive Storyt···

★ 187 2026-09-29
Genjustsu-Open-Source-Workflow 开源

分割加深度再生成,视频换人换物可控可预览

Open-source AI video replacement workflow by TEIN. Combine depth maps, SAM segmentat···

★ 1466 2026-10-26
muapi-comfyui 开源

在 ComfyUI 里一键调用 100+ 主流 AI 生成模型

ComfyUI custom nodes for 600+ AI models — Seedance, Kling, Veo3, Flux, HiDream, GPT···

★ 81 2026-08-09
HunyuanCustom 开源

多模态驱动,定制你的专属视频生成

HunyuanCustom: A Multimodal-Driven Architecture for Customized Video Generation

★ 1232 2026-08-09