MM2022-ViCoPerceptualHeadGeneration

用一张照片和驱动信号,生成口型同步的逼真说话人视频

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 1 👀 关注 5
GitHub ↗
GitHub 星标 ★ 55
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,无付费版本。

项目预览

MM2022-ViCoPerceptualHeadGeneration 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队hzwer
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型pytorch,video-generation
GitHub 星标★ 55
上线时间2022-06-30 00:00:00
代码更新2024-05-16
仓库体积269 KB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

ViCo 是一个面向对话场景的感知头部生成开源项目,来自 ACM MM 2022 Workshop。它解决的是在给定单个源人物图像和驱动视频(如音频或动作)的情况下,生成自然、逼真且口型同步的说话人视频问题。核心能力包括:提出正则化驱动模块,通过约束驱动信号来减少生成过程中的身份漂移和动作不自然;同时设计增强渲染器,提升面部细节和背景的合成质量。项目基于 PyTorch 实现,提供了完整的训练和推理代码,适用于虚拟数字人、视频会议、影视制作等需要生成动态人物头像的场景。其创新点在于将感知质量(如口型、表情)与渲染优化结合,在保持身份一致性的同时提高视频的真实感。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 55

技术标签

核心亮点

  • 提出正则化驱动模块,有效减少身份漂移,提升动作自然度
  • 增强渲染器优化面部细节和背景合成,视频真实感更强
  • 基于 PyTorch,代码结构清晰,便于二次开发和复现

不足之处

  • 项目早期,文档和社区支持相对有限
  • 依赖特定数据集和预处理流程,泛化性待验证

适用场景

  • 虚拟数字人对话系统
  • 视频会议中的动态头像生成
  • 影视制作中的面部替换与口型同步

替代项目

Wav2Lip、SadTalker、MakeItTalk

上一篇:Animate3D

下一篇:dreamtalk

同类项目推荐

Pixal3D 开源

一张图秒变对齐原图的3D模型

[SIGGRAPH 2026] Pixal3D: Pixel-Aligned 3D Generation from Images

★ 2620 2026-09-14
STAR 开源

输入文字,直接生成带骨骼动画的 4D 数字人,无需手动绑定

Official code for "STAR: Skeleton-aware Text-based 4D Avatar Generation with In-Netw···

★ 65 2026-08-09
awesome-ai-talking-heads 开源

一站式收藏说话头像生成论文与代码,快速入门

A curated list of 'Talking Head Generation' resources. Features influential papers, ···

★ 74 2026-08-09
RodinHD 开源

单张照片秒变高保真3D数字人,可驱动可动画

[ECCV 2024] RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models

★ 218 2026-08-09
TripoSG 开源

输入图片或文字,秒级生成高保真 3D 模型

TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models

★ 1895 2026-08-09
SyncTalk 开源

让数字人说话口型精准同步,告别嘴型对不上的尴尬

[CVPR 2024] This is the official source for our paper "SyncTalk: The Devil is in the···

★ 1626 2026-08-09
Awesome-Gaussian-Skills 开源

3D图形学论文+AI技能,一键调用加速研究

1000+ arXiv-verified 3DGS methods · 15 AI agent skills · MCP server (34 tools) · ···

★ 180 2026-08-09
awesome-ai-vtubers 开源

逛一圈,找到你想要的AI虚拟主播项目

A curated list of AI VTubers and their related projects

★ 519 2026-08-09
ICCV2023-MCNET 开源

用一张照片生成身份一致的说话头视频

The official code of our ICCV2023 work: Implicit Identity Representation Conditioned···

★ 253 2026-08-09