Thin-Plate-Spline-Motion-Model

一张图+驱动视频,生成自然流畅的动态形象

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 549 🐛 待处理 79 👀 关注 56
GitHub ↗
GitHub 星标 ★ 3610
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可免费使用和部署,无在线服务。

项目预览

Thin-Plate-Spline-Motion-Model 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队yoyo-nb
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可免费使用和部署,无在线服务。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型deep-learning,deepfake,face-animation,face-reenactment,image-animation,motion-transfer,pose-transfer,talking-head
GitHub 星标★ 3610
上线时间2021-11-24 00:00:00
代码更新2024-02-10
仓库体积32.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

Thin-Plate-Spline-Motion-Model 是一个基于 CVPR 2022 论文的图像动画开源项目,核心解决从单张静态图片生成动态视频的问题。它通过薄板样条(TPS)运动模型来模拟物体(尤其是人脸)的形变和运动,结合关键点检测和光流估计,将驱动视频的动作迁移到源图片上,实现表情、姿态的同步。项目提供完整的训练和推理代码,支持自定义数据集,并附带预训练模型和演示脚本,用户可直接运行生成动画。其优势在于对大幅运动和复杂形变的鲁棒性,生成的动画自然流畅,且计算效率较高。适用于数字人、虚拟形象、面部重演等场景,是研究图像动画和运动迁移的重要参考实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3610

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 20 分钟 部署方式:本地安装 5 步

环境要求

  • Python 3(README 推荐 Python 3.9)
  • pip 包管理工具
  • Git(用于克隆仓库)
  • 预训练模型权重文件(README 提供多个网盘下载地址)
  • 如需本地推理:可运行深度学习的机器环境(README 未给出具体硬件要求)

安装与启动步骤

  1. 1克隆仓库

    把 GitHub 上的源码下载到本地,命令执行后会在当前目录生成 Thin-Plate-Spline-Motion-Model 文件夹。

    git clone https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model.git
  2. 2进入项目目录

    切换到刚克隆下来的项目根目录,后续安装与运行都在该目录下进行。

    cd Thin-Plate-Spline-Motion-Model
  3. 3安装依赖

    按 README 说明用 requirements.txt 一次性安装项目所需 Python 依赖,建议在虚拟环境中执行。

    pip install -r requirements.txt
  4. 4下载预训练模型

    从 README 给出的 Yandex / Google Drive / 百度云链接下载权重文件(原清华云链接已失效),注意 README 未写明存放路径,请对照仓库脚本放置。

  5. 5直接体验在线演示

    无需本地推理也可先用官方演示:Hugging Face Spaces、Replicate 或 Google Colab 链接,上传源图与驱动视频即可生成动画。

如何确认成功

pip install -r requirements.txt 无报错,且能通过 README 中的 Colab / Hugging Face Spaces / Replicate 链接正常生成动画即视为可用。

常见问题

Q:支持哪个 Python 版本?

A:README 说明支持 python3,推荐使用 Python 3.9。

Q:不想本地部署,能直接试用吗?

A:可以。README 提供了 Hugging Face Spaces、Replicate 以及 Google Colab 三种在线演示入口,直接打开链接即可体验动画生成。

Q:预训练模型从哪里下载?

A:README 给出的 Tsinghua Cloud 链接已划掉失效,可用 Yandex、Google Drive 或百度云三个地址下载权重。

Q:怎么获得更好的动画效果?

A:README 提示论文为公平对比只训练了 100 个 epoch,使用更多数据并训练更多 epoch 可以提升效果。

注意事项

  • README 只给出了依赖安装命令,未提供本地推理/训练的具体命令与参数,需自行查看仓库内脚本和 Notebook。
  • 原清华云预训练模型下载链接已失效,请改用 Yandex、Google Drive 或百度云链接。
  • 下载的预训练权重存放位置 README 未说明,请对照仓库代码中的加载路径放置。
  • 建议使用虚拟环境安装依赖,避免与系统 Python 环境冲突。

核心亮点

  • 基于CVPR 2022论文,算法新颖,对大幅运动和复杂形变处理效果好
  • 提供完整训练/推理代码和预训练模型,开箱即用
  • 支持自定义数据集,可迁移到人脸、动物等多种对象

不足之处

  • 依赖GPU资源,训练和推理对硬件要求较高
  • 文档和社区支持相对有限,部分细节需自行摸索

适用场景

  • 数字人视频生成,用于虚拟主播或短视频创作
  • 面部表情迁移,用于影视特效或游戏角色动画
  • 学术研究,作为图像动画和运动迁移的基线方法

替代项目

First Order Motion Model、FOMM、MRAA

上一篇:roofgan

下一篇:sparrow

同类项目推荐

OCRmyPDF 开源

给扫描 PDF 加上可搜索文字层,秒变可检索文档

OCRmyPDF adds an OCR text layer to scanned PDF files, allowing them to be searched

★ 35272 2026-08-10
ComfyUI-BiRefNet-ZHO 开源

拖拽节点即可实现图像/视频高精度抠图,边缘细节惊艳

Better version for BiRefNet in ComfyUI | Both img & video

★ 414 2026-08-09
RapidOCR 开源

多语言、多引擎的OCR工具集,一行代码搞定文字识别

Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, ···

★ 8481 2026-08-10
machinevision-toolbox-python 开源

像搭积木一样搞定相机标定、特征提取和图像分割,快速验证视觉算法。

Machine vision toolbox for Python

★ 225 2026-08-10
ModelAssistant 开源

从训练到部署,让嵌入式设备跑上视觉 AI

Seeed SenseCraft Model Assistant is an open-source project focused on embedded AI.

★ 448 2026-09-13
DZ-FaceDetailer 开源

在 ComfyUI 中一键修复和增强生成图像的人脸细节。

a node for comfyui for restore/edit/enchance faces utilizing face recognition

★ 235 2026-08-09
computer-vision-challenge 开源

边做边学,用Jupyter玩转计算机视觉经典任务

A hands-on collection of computer vision projects for everyone.

★ 71 2026-08-09
RT-DETR 开源

无 NMS 端到端检测,精度速度双超 YOLO

[CVPR 2024] Official RT-DETR (RTDETR paddle pytorch), Real-Time DEtection TRansforme···

★ 5657 2026-09-20
Wis3D 开源

浏览器里直接看3D点云和相机位姿,免装软件

A web-based 3D visualization tool for 3D computer vision.

★ 322 2026-09-18