NeRFFaceSpeech_Code

单张照片+语音,生成逼真3D说话头像

NeRFFaceSpeech_Code 是一个基于 NeRF(神经辐射场)的 3D 说话头生成开源项目,对应 CVPRW 2024 论文。它解决的是从单张人脸图片和一段音频驱动生成逼真 3D 说话头的问题,即 one-shot 音频驱动的 3D 说话头合成。核心能力包括:利用生成先验(如 3D GAN)来增强 NeRF 的泛化能力,在仅有单张参考图的情况下,也能生成具有自然唇形、表情和头部姿态的 3D 动态头像。项目提供完整的训练和推理代码,支持自定义音频和图片输入,输出视频或 3D 模型。技术栈以 Python 和 PyTorch 为主,适合研究数字人、虚拟形象生成、人机交互等领域。当前项目处于早期阶段,代码结构清晰,但依赖较多,需要一定的环境配置。

开源 free 数字人3D
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 65
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类数字人3D
开发团队rlgnswk
所属国家
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型3d-head,audio-driven-talking-face,cvprw2024,image-animation,nerf,one-shot,talking-head
GitHub 星标★ 65
30天Star增速
HF 下载量
上线时间2024-05-08 00:00:00
最近更新2026-06-28 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

核心亮点

  • 基于 CVPRW 2024 论文,方法新颖,结合 NeRF 与生成先验,提升 one-shot 泛化能力
  • 提供完整训练和推理代码,支持自定义输入,便于二次开发
  • 输出包含唇形、表情和头部姿态,效果自然,适合数字人应用

不足之处

  • 依赖较多(如 PyTorch、NeRF 相关库),环境配置复杂
  • 文档/社区待观察,项目早期,使用教程和社区支持有限

适用场景

  • 数字人直播或视频制作,用单张照片快速生成虚拟主播
  • 虚拟助手或客服,实现语音驱动的 3D 形象交互
  • 影视或游戏角色动画,降低 3D 头像制作成本

替代项目

SadTalker、Wav2Lip、ER-NeRF

项目介绍

NeRFFaceSpeech_Code 是数字人3D领域的开源项目,由 rlgnswk 开发,2024 年首次发布。

它收录于数字人3D分类,该分类目前共有 272 个项目,GitHub 星标数为 65。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-06-28。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:数字人直播或视频制作,用单张照片快速生成虚拟主播。同类可对比的替代方案包括 SadTalker、Wav2Lip、ER-NeRF。

上一篇:DiffPoseTalk

下一篇:SadTalker

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 272 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 798 2026-08-21