MotionDirector

上传参考视频,用文本定制生成专属动作视频

MotionDirector 是 ECCV 2024 Oral 论文的开源实现,专注于文本到视频扩散模型的运动定制。它解决的是现有视频生成模型难以精确控制动作、只能生成通用运动的问题。核心能力包括:通过双路径 LoRA(空间路径和时间路径)解耦外观与运动学习,支持单视频或少量视频训练,实现特定动作的迁移与合成。用户可输入文本描述并参考示例视频,生成具有指定动作的新视频,同时保持内容多样性。项目提供训练和推理代码,基于 Stable Video Diffusion 构建,支持自定义数据集。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1054
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队showlab
所属国家
定价模式free
价格说明开源项目,提供在线演示页面,可免费体验,代码开源,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型diffusion-models,motion-customization,text-to-motion,text-to-video,text-to-video-generation,video-generation
GitHub 星标★ 1054
30天Star增速
HF 下载量
上线时间2023-10-12 00:00:00
最近更新2026-09-14 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数0

使用教程

难度:高级 约 40 分钟 部署方式:本地安装 4 步

环境要求

  • Python 环境(README 要求通过 requirements.txt 安装依赖,未指定具体版本)
  • 已安装 git-lfs(下载模型权重必需,官网 https://git-lfs.com)
  • 能访问 Hugging Face 下载 ruizhaocv/MotionDirector_weights 权重仓库
  • 建议具备可用的 GPU 环境(项目基于 Stable Video Diffusion 训练与推理)

安装与启动步骤

  1. 1获取项目源码

    从 GitHub 项目地址克隆代码仓库到本地,再进入项目目录进行后续操作。

    git clone https://github.com/showlab/MotionDirector.git
    cd MotionDirector
  2. 2安装依赖包

    在项目根目录下按 README 的 Setup 说明安装 requirements.txt 中的全部 Python 依赖。

    pip install -r requirements.txt
  3. 3安装 git-lfs

    权重文件通过 Git LFS 托管,必须先初始化 git-lfs,否则克隆下来的是指针文件而非真实权重。

    git lfs install
  4. 4下载模型权重

    README 要求把权重克隆到项目下的 ./outputs 目录,路径必须一致,否则后续无法正确加载。

    git clone https://huggingface.co/ruizhaocv/MotionDirector_weights ./outputs

如何确认成功

README 未给出启动验证命令;确认依赖安装无报错、./outputs 下已是实际权重文件(非 LFS 指针)即算准备完成。

常见问题

Q:克隆权重后目录里只有很小的文本文件怎么办?

A:说明未真正走 LFS,先在系统安装 git-lfs 并执行 git lfs install,再删除 ./outputs 重新克隆一次。

Q:没有 GPU 能直接用吗?

A:项目基于 Stable Video Diffusion 做视频扩散训练与推理,README 未提供 CPU 方案;无 GPU 建议改用官方 Hugging Face Space 在线体验。

Q:README 的 Usage 部分为什么没有命令?

A:README 中明确写着该部分用法略有不同、后续会更新,因此当前仓库未给出训练与推理的具体命令,需以仓库内代码和官网说明为准。

Q:依赖装不上或版本冲突怎么处理?

A:README 只给出 requirements.txt 这一安装方式,未提供额外版本约束;建议使用独立虚拟环境安装,避免与已有环境冲突。

注意事项

  • README 的 Usage 章节尚未填写,训练/推理命令无从获取,请勿臆造参数。
  • git lfs install 必须在克隆权重之前执行,顺序反了会拿到 LFS 指针文件。
  • 权重仓库克隆目标目录固定为 ./outputs,改名或换路径可能导致代码找不到权重。
  • 可先通过官方项目页与 Hugging Face Space 了解效果,再决定是否本地部署。

核心亮点

  • 双路径 LoRA 解耦外观与运动,动作迁移更精准
  • 支持单视频训练,数据需求低,上手门槛低
  • ECCV 2024 Oral 论文背书,方法有学术权威性

不足之处

  • 训练和推理资源消耗较大,需高端 GPU
  • 文档和社区支持尚在早期,示例不够丰富

适用场景

  • 影视动画制作中快速生成角色指定动作片段
  • 个人创作者定制个性化视频动作风格
  • 运动分析研究中合成特定动作的测试视频

替代项目

AnimateDiff、VideoCrafter、Tune-A-Video

项目介绍

MotionDirector 是视频领域的开源项目,由 showlab 开发,2023 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(1,054)位列前 30%,在视频分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-14。提供在线演示页面,可免费体验,代码开源,无付费版本。从国内网络环境看,可直接访问。

它主要面向的使用场景是:影视动画制作中快速生成角色指定动作片段。同类可对比的替代方案包括 AnimateDiff、VideoCrafter、Tune-A-Video。

上一篇:MagicTime

下一篇:FancyVideo

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
MagicDance 开源

一张图+任意动作,生成身份不变的逼真人物视频

[ICML 2024] MagicPose(also known as MagicDance): Realistic Human Poses and Facial Ex···

★ 777 2026-08-09