CVPR2022-DaGAN

用深度信息让说话头视频生成更逼真、姿态更可控

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 127 🐛 待处理 34 👀 关注 22
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 997
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,代码免费,需自行部署,无在线服务。

项目预览

CVPR2022-DaGAN 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队harlanhong
定价模式🏷️完全免费
价格说明开源项目,代码免费,需自行部署,无在线服务。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型deepfake,depth,face,face-reenactment,gan,image-animation,motion-transfer,talking-head
GitHub 星标★ 997
上线时间2022-03-08 00:00:00
代码更新2023-12-04
仓库体积6.7 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

DaGAN 是 CVPR 2022 收录的论文《Depth-Aware Generative Adversarial Network for Talking Head Video Generation》的官方实现。它解决的是从单张人脸图像生成逼真、姿态可控的说话头视频的问题。核心创新在于引入深度感知机制,通过自监督方式学习人脸几何结构,并将深度信息与生成网络融合,从而显著提升生成视频的几何一致性和图像质量。项目提供完整的训练和推理代码,支持自定义数据集,并包含预训练模型。其核心能力包括:基于深度图的姿态控制、自监督几何学习、以及高保真视频生成。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 997

使用教程

难度:高级 约 40 分钟 部署方式:本地安装 4 步

环境要求

  • Python 3.8+
  • PyTorch 1.x 与 CUDA
  • face-alignment 库
  • 预训练模型权重

安装与启动步骤

  1. 1克隆仓库

    获取官方实现。

    git clone https://github.com/harlanhong/CVPR2022-DaGAN.git
    cd CVPR2022-DaGAN
  2. 2安装依赖

    安装主依赖,并进入 face-alignment 子目录安装后编译。

    pip install -r requirements.txt
    cd face-alignment
    pip install -r requirements.txt
    python setup.py install
  3. 3准备权重

    从作者项目页下载预训练 checkpoint 放到指定目录。

  4. 4运行推理

    用一张源图像与一段驱动视频生成说话头视频。

    CUDA_VISIBLE_DEVICES=0 python demo.py --config config/vox-adv-256.yaml --driving_video path/to/driving --source_image path/to/source --checkpoint path/to/checkpoint --relative --adapt_scale --kp_num 15 --generator DepthAwareGenerator

如何确认成功

推理后生成一段说话头视频,姿态随驱动视频变化且几何一致,无明显扭曲。

常见问题

Q:如何训练自己的模型?

A:多卡可用 python -m torch.distributed.launch ... run.py 启动训练。

注意事项

  • 需要较大 GPU 显存;checkpoint 需从作者项目页另行下载。

核心亮点

  • 自监督深度估计提升几何一致性,减少姿态扭曲
  • 官方代码,结构清晰,支持自定义数据集训练
  • 在多个基准上达到SOTA,生成质量高

不足之处

  • 依赖深度图,训练时需额外计算,资源消耗较大
  • 文档/社区待观察,中文资料较少

适用场景

  • 数字人视频生成与编辑
  • 虚拟主播/客服形象驱动
  • 人脸动画与姿态迁移研究

替代项目

Wav2Lip、MakeItTalk、PIRenderer

上一篇:IP_LAP

下一篇:xtalker

同类项目推荐

ComfyUI-Lux3D 开源

在 ComfyUI 里从图片直接生成 3D 模型并渲染预览

A ComfyUI extension providing nodes for generating 3D models from images and renderi···

★ 135 2026-08-09
character-policy 开源

让数字人说话时全身动作跟着语音走

character-policy: Official Benchmark & Codebase for Multimodal 3D Character & Holist···

★ 1315 2026-11-01
robot-heads 开源

给 AI Agent 装个电视头,状态一眼看懂

Animated 3D robot heads for React: TV-headed bots with LED faces that show what your···

★ 449 2026-10-18
THREE.Terrain 开源

几行代码在网页里生成可交互的 3D 地形

A procedural terrain generation engine for use with the Three.js 3D graphics library···

★ 919 2026-10-27
heygen-app 开源

写几行代码,数字人视频就能批量发货。

A Python toolkit for generating AI avatar videos and managing resources using the He···

★ 5 2026-08-09
sand3d 开源

用 Python 写代码建 3D 模型,让 LLM 也能动手建模

3D modeling in Python, built for LLMs.

★ 1115 2026-11-07
forgent3d-desktop 开源

说句话就生成可编辑的 3D CAD 模型

Maintenance mode: bug fixes only, no new features. Lighter option, no app to install···

★ 255 2026-10-30
DiffusionGAN3D 开源

融合3D GAN与扩散先验,让文本快速生成高质量3D模型

[CVPR2024] DiffusionGAN3D: Boosting Text-guided 3D Generation and Domain Adaptation ···

★ 70 2026-08-09