MM2022-ViCoPerceptualHeadGeneration

用一张照片和驱动信号，生成口型同步的逼真说话人视频

ViCo 是一个面向对话场景的感知头部生成开源项目，来自 ACM MM 2022 Workshop。它解决的是在给定单个源人物图像和驱动视频（如音频或动作）的情况下，生成自然、逼真且口型同步的说话人视频问题。核心能力包括：提出正则化驱动模块，通过约束驱动信号来减少生成过程中的身份漂移和动作不自然；同时设计增强渲染器，提升面部细节和背景的合成质量。项目基于 PyTorch 实现，提供了完整的训练和推理代码，适用于虚拟数字人、视频会议、影视制作等需要生成动态人物头像的场景。其创新点在于将感知质量（如口型、表情）与渲染优化结合，在保持身份一致性的同时提高视频的真实感。

开源 free 视频生成

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 55

维护状态低维护

是否开源是

定价模式 free

项目数据

分类视频生成

开发团队hzwer

所属国家

官网地址

GitHubhttps://github.com/hzwer/MM2022-ViCoPerceptualHeadGeneration

定价模式free

价格说明开源项目，MIT许可证，完全免费，无付费版本。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型pytorch,video-generation

GitHub 星标★ 55

30天Star增速

HF 下载量

上线时间2022-06-30 00:00:00

最近更新2025-06-09 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

提出正则化驱动模块，有效减少身份漂移，提升动作自然度
增强渲染器优化面部细节和背景合成，视频真实感更强
基于 PyTorch，代码结构清晰，便于二次开发和复现

不足之处

项目早期，文档和社区支持相对有限
依赖特定数据集和预处理流程，泛化性待验证

适用场景

虚拟数字人对话系统
视频会议中的动态头像生成
影视制作中的面部替换与口型同步

替代项目

Wav2Lip、SadTalker、MakeItTalk

项目介绍

MM2022-ViCoPerceptualHeadGeneration 是数字人3D领域的开源项目，由 hzwer 开发，2022 年首次发布。

它收录于数字人3D分类，该分类目前共有 272 个项目，GitHub 星标数为 55。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2025-06-09。MIT许可证，完全免费，无付费版本。

它主要面向的使用场景是：虚拟数字人对话系统。同类可对比的替代方案包括 Wav2Lip、SadTalker、MakeItTalk。

上一篇：Animate3D

下一篇：dreamtalk