UniAnimate-DiT

上传一张图，让照片里的人物动起来，生成自然流畅的动画视频。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 视频生成 🍴 复刻 58 🐛 待处理 44 👀 关注 9
GitHub ↗
GitHub 星标 ★ 856
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，本地部署，完全免费

项目预览

UniAnimate-DiT 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类视频生成
开发团队ali-vilab
GitHubhttps://github.com/ali-vilab/UniAnimate-DiT
定价模式🏷️完全免费
价格说明开源项目，本地部署，完全免费
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型human-image-animation,video-diffusion-transformers,video-generation
GitHub 星标★ 856
上线时间2025-04-15 00:00:00
代码更新2025-04-27
仓库体积70.7 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

UniAnimate-DiT 是一个基于大规模视频扩散 Transformer 的人体图像动画开源项目。它解决的核心问题是：给定一张静态人物图片和一段目标动作视频，如何生成自然、连贯且动作对齐的人物动画视频。项目利用 DiT（Diffusion Transformer）架构，结合视频扩散模型，实现了从单图到动态视频的端到端生成。其核心能力包括：高保真的人物外观保持、流畅的动作迁移、以及长时间视频的生成。与传统的基于 GAN 或 UNet 的方法相比，DiT 架构在建模复杂时空依赖上更具优势，能够生成更细腻的纹理和更自然的运动。该项目提供了完整的训练和推理代码，支持自定义数据集，适合研究者和开发者用于数字人、影视制作、虚拟现实等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 856

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 60 分钟 部署方式：本地安装 4 步

环境要求

  • NVIDIA GPU 40G 显存以上
  • Python 3.9
  • CUDA 12.1

安装与启动步骤

  1. 1建环境

    指定 Python 3.9.21，torch 2.5.0。

    conda create -n UniAnimate-DiT python=3.9.21
pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu121

  2. 2装项目

    以可编辑方式装，方便改配置。

    git clone https://github.com/ali-vilab/UniAnimate-DiT.git
cd UniAnimate-DiT && pip install -e .

  3. 3下权重

    底模 Wan2.1 与自有权重分别下。

    huggingface-cli download Wan-AI/Wan2.1-I2V-14B-720P --local-dir ./Wan2.1-I2V-14B-720P
huggingface-cli download ZheWang123/UniAnimate-DiT --local-dir ./checkpoints

  4. 4对齐姿态

    先把参考人物与源视频的姿态对齐。

    python run_align_pose.py --ref_name data/images/musk.jpg --source_video_paths data/videos/source_video.mp4 --saved_pose_dir data/saved_pose/musk

如何确认成功

生成视频里人物身份与参考图一致，动作跟随源视频。

注意事项

  • 14B 底模对显存要求高，单卡跑不动就走多卡或量化。
  • 国内可用 modelscope 下载，比 HF 稳。

核心亮点

  • 基于 DiT 架构，视频生成质量高，动作连贯性强
  • 支持端到端训练与推理，代码完整，易于二次开发
  • 在人物外观保持和动作对齐上表现优异，适合数字人应用

不足之处

  • 项目早期，文档和社区支持待观察
  • 推理资源消耗较大，对硬件要求高

适用场景

  • 数字人视频制作：从静态照片生成虚拟主播或角色动画
  • 影视预可视化：快速生成角色动作参考视频
  • 虚拟现实/游戏：为虚拟角色生成动态表现

替代项目

AnimateAnyone、MagicAnimate、DisCo

上一篇：Imagine360

下一篇：Be-Your-Outpainter

同类项目推荐

open-video 开源

本地跑 MiniMax H3，ComfyUI 里一句话生成视频

Open-source video generation — Ollama for MiniMax H3. Local director on ComfyUI.

★ 116 2026-09-12
mediamolder 开源

图形界面跑 FFmpeg，顺手把 AI 检测和转写一起做了

A redesign of FFmpeg for the AI era. React GUI. Custom AI integrations including YOL···

★ 113 2026-09-23
Wan-3.0-API 开源

一行代码调用通义万相，快速生成 AI 视频。

Wan 3.0 API Python SDK and MCP server for AI video generation: text-to-video, image-···

★ 80 2026-08-09
vmodal_sdk_android 开源

给 Android 视频应用一键加上视频搜索能力

Video Search SDK for Android Kotlin. Integrate in any video app

★ 543 2026-08-09
Stable-Diffusion-Video2Video 开源

上传视频，一键风格化，自动逐帧转换输出新视频

Small script for AUTOMATIC1111/stable-diffusion-webui to run video through img2img.

★ 62 2026-08-09
palmier-pro 开源

用自然语言在 Mac 上剪 AI 视频，效率翻倍

macOS video editor built for AI

★ 14706 2026-08-09
MotionClone 开源

参考视频一键变可编辑动效，导出 MP4 或工程文件

Rebuild a reference video as an editable HyperFrames project, compare the match agai···

★ 614 2026-09-30
Open-AI-Micro-Drama-Generator 开源

输入创意，一键生成完整AI短剧视频

AI short drama & micro-drama video generator — turns any idea into a complete short···

★ 569 2026-08-09
Echo-Memory 开源

给视频生成装上记忆，让长视频更连贯

Official code for Echo-Memory: a controlled study of memory in action-conditioned vi···

★ 251 2026-08-09