Thin-Plate-Spline-Motion-Model

一张图+驱动视频,生成自然流畅的动态形象

Thin-Plate-Spline-Motion-Model 是一个基于 CVPR 2022 论文的图像动画开源项目,核心解决从单张静态图片生成动态视频的问题。它通过薄板样条(TPS)运动模型来模拟物体(尤其是人脸)的形变和运动,结合关键点检测和光流估计,将驱动视频的动作迁移到源图片上,实现表情、姿态的同步。项目提供完整的训练和推理代码,支持自定义数据集,并附带预训练模型和演示脚本,用户可直接运行生成动画。其优势在于对大幅运动和复杂形变的鲁棒性,生成的动画自然流畅,且计算效率较高。适用于数字人、虚拟形象、面部重演等场景,是研究图像动画和运动迁移的重要参考实现。

开源 free 数字人3D
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 3606
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类数字人3D
开发团队yoyo-nb
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,可免费使用和部署,无在线服务。
访问状态
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型deep-learning,deepfake,face-animation,face-reenactment,image-animation,motion-transfer,pose-transfer,talking-head
GitHub 星标★ 3606
30天Star增速
HF 下载量
上线时间2021-11-24 00:00:00
最近更新2026-09-19 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:入门 约 20 分钟 部署方式:本地安装 5 步

环境要求

  • Python 3(README 推荐 Python 3.9)
  • pip 包管理工具
  • Git(用于克隆仓库)
  • 预训练模型权重文件(README 提供多个网盘下载地址)
  • 如需本地推理:可运行深度学习的机器环境(README 未给出具体硬件要求)

安装与启动步骤

  1. 1克隆仓库

    把 GitHub 上的源码下载到本地,命令执行后会在当前目录生成 Thin-Plate-Spline-Motion-Model 文件夹。

    git clone https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model.git
  2. 2进入项目目录

    切换到刚克隆下来的项目根目录,后续安装与运行都在该目录下进行。

    cd Thin-Plate-Spline-Motion-Model
  3. 3安装依赖

    按 README 说明用 requirements.txt 一次性安装项目所需 Python 依赖,建议在虚拟环境中执行。

    pip install -r requirements.txt
  4. 4下载预训练模型

    从 README 给出的 Yandex / Google Drive / 百度云链接下载权重文件(原清华云链接已失效),注意 README 未写明存放路径,请对照仓库脚本放置。

  5. 5直接体验在线演示

    无需本地推理也可先用官方演示:Hugging Face Spaces、Replicate 或 Google Colab 链接,上传源图与驱动视频即可生成动画。

如何确认成功

pip install -r requirements.txt 无报错,且能通过 README 中的 Colab / Hugging Face Spaces / Replicate 链接正常生成动画即视为可用。

常见问题

Q:支持哪个 Python 版本?

A:README 说明支持 python3,推荐使用 Python 3.9。

Q:不想本地部署,能直接试用吗?

A:可以。README 提供了 Hugging Face Spaces、Replicate 以及 Google Colab 三种在线演示入口,直接打开链接即可体验动画生成。

Q:预训练模型从哪里下载?

A:README 给出的 Tsinghua Cloud 链接已划掉失效,可用 Yandex、Google Drive 或百度云三个地址下载权重。

Q:怎么获得更好的动画效果?

A:README 提示论文为公平对比只训练了 100 个 epoch,使用更多数据并训练更多 epoch 可以提升效果。

注意事项

  • README 只给出了依赖安装命令,未提供本地推理/训练的具体命令与参数,需自行查看仓库内脚本和 Notebook。
  • 原清华云预训练模型下载链接已失效,请改用 Yandex、Google Drive 或百度云链接。
  • 下载的预训练权重存放位置 README 未说明,请对照仓库代码中的加载路径放置。
  • 建议使用虚拟环境安装依赖,避免与系统 Python 环境冲突。

核心亮点

  • 基于CVPR 2022论文,算法新颖,对大幅运动和复杂形变处理效果好
  • 提供完整训练/推理代码和预训练模型,开箱即用
  • 支持自定义数据集,可迁移到人脸、动物等多种对象

不足之处

  • 依赖GPU资源,训练和推理对硬件要求较高
  • 文档和社区支持相对有限,部分细节需自行摸索

适用场景

  • 数字人视频生成,用于虚拟主播或短视频创作
  • 面部表情迁移,用于影视特效或游戏角色动画
  • 学术研究,作为图像动画和运动迁移的基线方法

替代项目

First Order Motion Model、FOMM、MRAA

项目介绍

Thin-Plate-Spline-Motion-Model 是计算机视觉领域的开源项目,由 yoyo-nb 开发,2021 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(3,606)位列前 30%,在计算机视觉分类的 446 个项目里位列前 12%。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-19。MIT许可证,可免费使用和部署,无在线服务。

它主要面向的使用场景是:数字人视频生成,用于虚拟主播或短视频创作。同类可对比的替代方案包括 First Order Motion Model、FOMM、MRAA。

上一篇:roofgan

下一篇:sparrow

同类项目推荐

modlens 开源

给纯文本编码代理装上眼睛,粘贴图片即刻获得结构化视觉证据。

The first vision plugin for DeepSeek Harness, and the vision bridge for every text-o···

★ 4019 2026-08-19
opencv 开源

开箱即用的视觉算法库,搞定图像视频处理与识别

Open Source Computer Vision Library

★ 90930 2026-08-10
OpenCVTutorials 开源

中文 OpenCV 教程,从入门到实战,边看边跑代码

OpenCV-Python4.1 中文文档

★ 1430 2026-08-20
DEIMv2 开源

用DINOv3做实时检测,又快又准,直接落地。

[DEIMv2] Real Time Object Detection Meets DINOv3

★ 2046 2026-08-14