FaceTalk

上传语音，一键生成3D数字人面部动画

FaceTalk 是一个基于音频驱动的 3D 数字人头像动画生成框架，来自 CVPR 2024。它利用扩散模型将语音音频转化为神经参数化头部模型（如 FLAME）的运动序列，解决传统音频驱动面部动画中表情僵硬、口型同步差、缺乏自然动作变化等问题。核心能力包括：从音频中生成高保真的面部表情和头部姿态运动，支持多种情感和说话风格，并能与现有神经渲染管线无缝集成。项目提供完整的训练和推理代码，基于 PyTorch 实现，适合研究人员和开发者用于数字人、虚拟助手、游戏角色等场景。

开源 free 数字人3D

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 240

维护状态低维护

是否开源是

定价模式 free

项目数据

分类数字人3D

开发团队shivangi-aneja

所属国家

官网地址https://shivangi-aneja.github.io/projects/facetalk

GitHubhttps://github.com/shivangi-aneja/FaceTalk

定价模式free

价格说明开源项目，代码公开，可自行部署使用，无收费计划。

访问状态

是否开源是

开源协议NOASSERTION

主要语言Shell

技术栈/模型3d-facial-animation,cvpr2024,diffusion-models,facial-animation,implicit-neural-representation,speech-driven,speech-driven-talking-face,talking-face-generation,talking-head

GitHub 星标★ 240

30天Star增速

HF 下载量

上线时间2023-11-30 00:00:00

最近更新2026-05-17 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

基于扩散模型，生成的面部动作自然且多样，超越传统回归方法
支持FLAME等标准参数化头部模型，易于集成到现有3D工作流
CVPR 2024论文加持，方法有学术保障，代码结构清晰

不足之处

项目早期，文档和社区支持待观察
依赖特定参数化模型，泛化到自定义头部模型需额外适配

适用场景

数字人直播与虚拟主播的实时口型驱动
游戏和影视中角色面部动画的快速生成
辅助听力障碍人士的视觉语音识别研究

替代项目

SadTalker、Wav2Lip、Audio2Face (NVIDIA)

项目介绍

FaceTalk 是数字人3D领域的开源项目，由 shivangi-aneja 开发，2023 年首次发布。

它收录于数字人3D分类，该分类目前共有 272 个项目，GitHub 星标数为 240。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-05-17。代码公开，可自行部署使用，无收费计划。

它主要面向的使用场景是：数字人直播与虚拟主播的实时口型驱动。同类可对比的替代方案包括 SadTalker、Wav2Lip、Audio2Face (NVIDIA)。

上一篇：SadTalker

下一篇：OTAvatar