FollowYourPose

上传姿态图,文本驱动生成动作视频

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 94 🐛 待处理 12 👀 关注 24
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1357
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署。

项目预览

FollowYourPose 项目界面预览图
图片来源:项目官网

项目数据

分类视频生成
开发团队mayuelala
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型aaai-2024,aigc,follow-your-pose,laion-pose-dataset,video-generation
GitHub 星标★ 1357
上线时间2023-03-30 00:00:00
代码更新2024-03-20
仓库体积277.9 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

Follow-Your-Pose 是 AAAI 2024 的官方实现,解决文本到视频生成中姿态控制难的问题。它利用无需姿态标注的视频训练,通过姿态引导生成符合指定动作的视频,核心能力包括:基于姿态的文本到视频生成、无需额外姿态标注的训练方式、支持多种人体姿态。该模型在 LAION-Pose 数据集上训练,能根据文本描述和姿态序列生成连贯视频,适用于数字人、动画制作等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1357

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 5 步

环境要求

  • Linux 环境(官方在 CUDA 11 上训练)
  • 已安装 conda,可创建 Python 3.8 环境
  • 项目依赖见 requirements.txt
  • 可选:NVIDIA A100 GPU 建议安装 xformers 以省显存和运行时间

安装与启动步骤

  1. 1获取项目代码

    从 GitHub 克隆官方仓库到本地目录,后续命令都在该目录中执行。

    git clone https://github.com/mayuelala/FollowYourPose.git
    cd FollowYourPose
  2. 2创建 conda 环境

    README 指定使用 Python 3.8,环境名为 fupose,创建后需激活。

    conda create -n fupose python=3.8
    conda activate fupose
  3. 3安装 Python 依赖

    在已激活的 fupose 环境中安装 requirements.txt 里的全部依赖,耗时较长请耐心等待。

    pip install -r requirements.txt
  4. 4安装 xformers(可选)

    README 建议 A100 安装 xformers 以节省显存和时间,但官方称其安装不稳定,可试下面对应 wheel。

    wget https://github.com/ShivamShrirao/xformers-wheels/releases/download/4c06c79/xformers-0.0.15.dev0+4c06c79.d20221201-cp38-cp38-linux_x86_64.whl
    pip install xformers-0.0.15.dev0+4c06c79.d20221201-cp38-cp38-linux_x86_64.whl
  5. 5替代在线体验

    README 提供 Colab、Hugging Face Spaces 和 OpenXLab 在线 Demo,本地环境装不动时可直接打开体验。

如何确认成功

README 未给出本地启动或推理命令,无法据此验证;可打开官方 Colab 或 Hugging Face Space 在线 Demo 确认效果。

常见问题

Q:必须安装 xformers 吗?

A:不是必须。README 称 xformers 推荐给 A100 GPU 使用,用于节省显存和运行时间,且官方表示其安装不太稳定,仅提供参考 wheel。

Q:训练需要什么硬件?

A:README 说明该方法在 CUDA 11 环境下,使用 accelerator 和 xformers 在 8 张 A100 上完成训练,显存要求较高。

Q:环境可以参照其他项目吗?

A:可以。README 指出本项目的环境与 Tune-A-video 类似,可参考其官方或非官方仓库的配置说明。

Q:没有本地显卡怎么办?

A:可直接使用 README 中提供的 Colab 笔记本、Hugging Face Spaces 或 OpenXLab 应用在线体验。

注意事项

  • README 只提供了环境搭建说明,未给出本地推理/训练命令,请勿自行猜测脚本名和参数。
  • xformers 安装不稳定,官方给的 wheel 对应 Python 3.8 / Linux x86_64,环境不匹配时可能失败。
  • 官方训练使用 8×A100,单卡或小显存设备可能无法完整复现。

核心亮点

  • 无需姿态标注视频训练,降低数据成本
  • 姿态控制精准,动作生成连贯
  • 官方实现,代码完整,易于复现

不足之处

  • 文档/社区待观察
  • 依赖外部姿态估计,端到端性一般

适用场景

  • 数字人动作生成
  • 动画/短视频制作
  • 人机交互动作模拟

替代项目

ControlNet、Tune-A-Video、Motion Diffusion Model

同类项目推荐

OmniCustom 开源

给参考人和声音,生成音画同步的定制视频

Official Implementation of 'OmniCustom: Sync Audio-Video Customization Via Joint Aud···

★ 420 2026-09-29
Toonflow-app 开源

一本小说几分钟变动画短剧,省掉编剧分镜的苦力活。

短剧、漫剧制作工具 Toonflow:开源 AI 视频创作平台,集成剧本创作、智能分镜、角色与场景···

★ 21351 2026-08-09
huobao-drama-ai 开源

一站式 AI 短剧工作台,从剧本到成片全自动

AI短剧创作平台 — 从剧本到成片,一站式AI短剧制作工作台。支持70+大模型(GLM5.1/DeepSee···

★ 109 2026-08-09
FlashVideo 开源

高效生成高分辨率视频,先整体后细节,省算力不省画质

[AAAI-2026]FlashVideo: Flowing Fidelity to Detail for Efficient High-Resolution Vide···

★ 488 2026-08-09
AI-Video-Translation 开源

一键在Colab里给视频换语言,还带口型同步

A simple Google Colab notebook which can translate an original video into multiple l···

★ 255 2026-08-09
ZJT 开源

输入创意,AI自动产出专业短剧视频

ZhiJuTong (ZJT) is an AI-powered, open-source platform specifically designed for cre···

★ 240 2026-08-09
FreeInit 开源

不重训模型,让视频生成更连贯更稳定

[ECCV 2024] FreeInit: Bridging Initialization Gap in Video Diffusion Models

★ 545 2026-08-09
OpenChatCut 开源

跟 AI 聊天就能剪视频,本地运行更安心

Open-source, local-first conversational AI video editor with a professional multi-tr···

★ 3022 2026-08-09