wav2lip_288x288

更高清唇形同步,让数字人说话更逼真

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 162 🐛 待处理 48 👀 关注 19
GitHub ↗
GitHub 星标 ★ 652
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可自由使用和修改,无付费版本。

项目预览

wav2lip_288x288 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队primepake
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可自由使用和修改,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型audio-driven-talking-face,deep-fake,deep-fakes,deep-learning,face-talking,generation,generative,image-animation,talking-face,talking-face-generation,talking-head,video
GitHub 星标★ 652
上线时间2021-11-01 00:00:00
代码更新2025-08-13
仓库体积8.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

Wav2Lip 288x288 是一个基于 Wav2Lip 的改进版本,专注于高分辨率(288x288)的唇形同步视频生成。它解决了原始 Wav2Lip 在低分辨率下唇部细节模糊、生成效果不自然的问题,通过调整模型输入尺寸和训练流程,提升了生成视频的清晰度和唇形匹配精度。项目提供了完整的训练流水线,包括数据预处理、模型训练和推理脚本,方便开发者基于自己的数据集进行训练和定制。核心能力包括:高分辨率唇形同步、端到端训练流程、以及针对特定场景的优化。该项目适合研究者和开发者用于数字人、视频配音、虚拟主播等场景,能够生成更逼真的口型同步效果。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 652

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:高级 约 240 分钟 部署方式:本地GPU 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • GPU 24G 显存以上
  • 原版 Wav2Lip 环境
  • 人脸视频与音频配对数据

安装与启动步骤

  1. 1先看原版文档

    本仓库是原版 Wav2Lip 的高分辨率分支,数据准备流程要照原版走。

  2. 2准备训练数据

    需要人脸视频加对应音频,且要做人脸检测与对齐,原版有现成预处理脚本。

  3. 3训同步判别器

    先训判别器再训生成器,顺序反了生成器学不到唇音对齐。

    python3 train_syncnet_sam.py
  4. 4训高分辨率生成器

    288 分辨率比原版吃显存,显存不够要降 batch 或开混合精度。

    python3 hq_wav2lip_sam_train.py
  5. 5合成并检查口型

    重点看快速语速和闭唇音,这两处最容易露馅。

如何确认成功

合成视频在中近景下口型与音频基本对齐,非仅整体平移

注意事项

  • 仓库说明很少,训练超参主要参考原版论文与实现。
  • 这是第三方高分辨率分支,长期维护不确定,重要项目慎用。
  • 合成他人影像需获得授权,公开传播有法律风险。
  • 288 分辨率下同步判别器的输入也要相应调整,否则指标不可比。

核心亮点

  • 分辨率提升至288x288,唇部细节更清晰,显著改善原始Wav2Lip的模糊问题
  • 提供完整训练流水线,包含数据预处理、训练和推理脚本,易于复现和定制
  • 基于成熟Wav2Lip架构,兼容原有生态,便于二次开发和集成

不足之处

  • 项目文档和社区支持相对薄弱,依赖用户自行摸索
  • 训练和推理资源消耗较高,对硬件有一定要求

适用场景

  • 数字人视频生成,实现高精度口型同步
  • 视频配音和本地化,替换或同步多语言音轨
  • 虚拟主播和实时互动,提升口型自然度

替代项目

Wav2Lip、SadTalker、Video-Retalking

上一篇:ACTalker

下一篇:DiffPoseTalk

同类项目推荐

SolidUI 开源

一句话生成可视化图表,告别手写代码

one sentence generates any graph

★ 682 2026-08-09
echomimic 开源

上传音频和照片,一键生成逼真数字人说话视频,还能手动微调表情。

[AAAI 2025] EchoMimic: Lifelike Audio-Driven Portrait Animations through Editable La···

★ 4334 2026-08-09
ml-talking-face 开源

传一张照片和一段语音,自动生成对口型说话视频

Cloned repository from Hugging Face Spaces (CVPR 2022 Demo)

★ 54 2026-08-09
ReconViaGen 开源

从稀疏视图一键生成高精度3D模型

(ICLR2026) ReconViaGen: Towards Accurate Multi-view 3D Object Reconstruction via Gen···

★ 665 2026-08-09
heygen-app 开源

写几行代码,数字人视频就能批量发货。

A Python toolkit for generating AI avatar videos and managing resources using the He···

★ 5 2026-08-09
InterAct 开源

一句话生成3D人机交互动作,数据规模大、交互丰富

[CVPR 2025] InterAct: Advancing Large-Scale Versatile 3D Human-Object Interaction Ge···

★ 217 2026-08-09
immortal-skill 开源

一键从聊天记录蒸馏出数字分身,让AI学会你的灵魂。

♾️ 开源数字永生框架 — 从聊天记录蒸馏任何人的七维数字分身。支持微信/飞书/iMessage/···

★ 1142 2026-08-09
Open-LLM-VTuber 开源

对着电脑说话,Live2D 角色替你回答,支持打断,全本地运行。

Talk to any LLM with hands-free voice interaction, voice interruption, and Live2D av···

★ 14656 2026-08-09