IP_LAP

上传一张照片和一段音频，生成身份保持的逼真说话视频

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 数字人3D 🍴 复刻 88 🐛 待处理 43 👀 关注 18
GitHub ↗
GitHub 星标 ★ 733
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，可免费使用和修改，无在线服务或付费版本。

项目预览

IP_LAP 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队Weizhi-Zhong
GitHubhttps://github.com/Weizhi-Zhong/IP_LAP
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，可免费使用和修改，无在线服务或付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio-driven-talking-face,cvpr2023,talking-face-generation,talking-head
GitHub 星标★ 733
上线时间2023-03-21 00:00:00
代码更新2024-01-06
仓库体积6.7 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

IP_LAP 是 CVPR 2023 论文《Identity-Preserving Talking Face Generation with Landmark and Appearance Priors》的官方实现，专注于高保真数字人说话视频生成。它解决的核心问题是：在生成说话人脸时，如何保持目标人物的身份特征（如脸型、五官细节）不丢失，同时确保口型与音频同步、头部姿态自然。项目通过引入面部关键点（landmark）和外观先验（appearance priors），将身份信息与运动信息解耦，在生成过程中显式约束身份一致性，从而避免常见方法中身份漂移或模糊的问题。核心能力包括：基于音频驱动的人脸动画生成、支持自定义输入图像和音频、提供训练和推理代码、以及预训练模型。技术栈基于 Python 和深度学习框架，适合研究者和开发者用于数字人、虚拟主播、视频编辑等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 733

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 60 分钟 部署方式：本地安装 5 步

环境要求

  • 多卡 GPU
  • 训练数据集
  • Python 3.8+

安装与启动步骤

  1. 1装依赖

    先装 Python 依赖。

    pip install -r requirements.txt

  2. 2准备数据

    音频与视频要对齐切分。

    CUDA_VISIBLE_DEVICES=0 python preprocess_audio.py --data_root ....../lrs2_video/ --out_root ..../lrs2_audio

  3. 3训关键点

    先训关键点生成器。

    CUDA_VISIBLE_DEVICES=0 python train_landmarks_generator.py --pre_audio_root ..../lrs2_audio --landmarks_root ..../lrs2_landmarks

  4. 4训渲染器

    再多卡训视频渲染。

    CUDA_VISIBLE_DEVICES=0,1,2,3 python train_video_renderer.py --sketch_root ..../lrs2_sketch --face_img_root ..../lrs2_face --audio_root ..../lrs2_audio

  5. 5推理一条

    用单条音频出视频。

    CUDA_VISIBLE_DEVICES=0 python inference_single.py

如何确认成功

推理输出一段口型同步的视频。

注意事项

  • 两阶段训练顺序固定，先关键点再渲染。
  • 数据集要自己申请，仓库不带。

核心亮点

  • 身份保持效果好：通过 landmark 和外观先验显式约束，生成人脸与源图像身份高度一致，减少身份漂移
  • 学术权威性：CVPR 2023 论文官方实现，方法经过同行评审，技术路线有据可查
  • 代码结构清晰：提供训练和推理脚本，便于二次开发和定制，适合学术研究复现

不足之处

  • 推理速度较慢：基于深度学习模型，实时性不足，难以直接用于直播等低延迟场景
  • 对输入图像质量敏感：源图像清晰度和角度影响生成效果，低质量输入下会出现 artifacts
  • 文档/社区待观察：项目早期，文档和社区支持相对有限，上手需要一定研究背景

适用场景

  • 数字人视频生成：用于虚拟主播、在线教育、短视频制作，输入照片和音频即可生成口型同步视频
  • 影视后期与游戏角色动画：为静态角色图生成对话动画，降低动画制作成本
  • 学术研究：作为 talking face generation 领域的基线方法，用于对比实验和算法改进

替代项目

Wav2Lip、SadTalker、MakeItTalk

上一篇：Audio2Head

下一篇：CVPR2022-DaGAN

同类项目推荐

llm-metahuman 开源

用大模型驱动照片级逼真数字人，快速搭建沉浸式交互应用

An open solution for AI-powered photorealistic digital humans.

★ 153 2026-08-09
AR123 开源

单图输入，自动生成多视角一致的3D模型

Official Code for 'AR-1-to-3: Single Image to Consistent 3D Object Generation via Ne···

★ 65 2026-08-09
ZerolanLiveRobot 开源

让 AI 虚拟主播自动直播、陪你玩 MC，全栈 AI 驱动

AI VTuber with LLM, ASR, TTS, OCR, CV and more technologies to live stream or play M···

★ 830 2026-08-09
A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材，边建模边生成

3D x AI hybrid editor, built with three.js

★ 130 2026-08-09
Matrix-3D 开源

一张图或一句话，生成可漫游的 3D 全景场景

Generate large-scale explorable 3D scenes with high-quality panorama videos from a s···

★ 851 2026-08-09
lobe-vidol 开源

拖拽搭建专属虚拟偶像，会聊天能唱歌

Lobe Vidol - Making Virtual Idols Accessible for EveryOne

★ 994 2026-08-09
GVGEN 开源

输入文字，一键生成3D数字人模型

[ECCV 2024] GVGEN: Text-to-3D Generation with Volumetric Representation

★ 121 2026-08-09
my-virtual-world 开源

给 AI 智能体一个 3D 世界，让它们动起来

A living 3D city for your AI agents, self-hosted. Bring OpenClaw and Hermes agents, ···

★ 109 2026-08-09
mixar-app 开源

在 Blender 里用 AI 从灵感板一路做到贴图

AI-powered 3D suite built on Blender, with an integrated agent, moodboard, generatio···

★ 595 2026-10-27