
wav2lip_288x288
更高清唇形同步,让数字人说话更逼真
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 652
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- GPU 24G 显存以上
- 原版 Wav2Lip 环境
- 人脸视频与音频配对数据
安装与启动步骤
-
1先看原版文档
本仓库是原版 Wav2Lip 的高分辨率分支,数据准备流程要照原版走。
-
2准备训练数据
需要人脸视频加对应音频,且要做人脸检测与对齐,原版有现成预处理脚本。
-
3训同步判别器
先训判别器再训生成器,顺序反了生成器学不到唇音对齐。
python3 train_syncnet_sam.py -
4训高分辨率生成器
288 分辨率比原版吃显存,显存不够要降 batch 或开混合精度。
python3 hq_wav2lip_sam_train.py -
5合成并检查口型
重点看快速语速和闭唇音,这两处最容易露馅。
如何确认成功
合成视频在中近景下口型与音频基本对齐,非仅整体平移
注意事项
- 仓库说明很少,训练超参主要参考原版论文与实现。
- 这是第三方高分辨率分支,长期维护不确定,重要项目慎用。
- 合成他人影像需获得授权,公开传播有法律风险。
- 288 分辨率下同步判别器的输入也要相应调整,否则指标不可比。
核心亮点
- 分辨率提升至288x288,唇部细节更清晰,显著改善原始Wav2Lip的模糊问题
- 提供完整训练流水线,包含数据预处理、训练和推理脚本,易于复现和定制
- 基于成熟Wav2Lip架构,兼容原有生态,便于二次开发和集成
不足之处
- 项目文档和社区支持相对薄弱,依赖用户自行摸索
- 训练和推理资源消耗较高,对硬件有一定要求
适用场景
- 数字人视频生成,实现高精度口型同步
- 视频配音和本地化,替换或同步多语言音轨
- 虚拟主播和实时互动,提升口型自然度
替代项目
Wav2Lip、SadTalker、Video-Retalking
上一篇:ACTalker
下一篇:DiffPoseTalk
同类项目推荐
SolidUI
开源
一句话生成可视化图表,告别手写代码
one sentence generates any graph
Virtual-Human-for-Chatting
开源
在Unity里快速做出会说话、有表情的Live2D虚拟人
Live2D Virtual Human for Chatting based on Unity
echomimic
开源
上传音频和照片,一键生成逼真数字人说话视频,还能手动微调表情。
[AAAI 2025] EchoMimic: Lifelike Audio-Driven Portrait Animations through Editable La···
ml-talking-face
开源
传一张照片和一段语音,自动生成对口型说话视频
Cloned repository from Hugging Face Spaces (CVPR 2022 Demo)
ReconViaGen
开源
从稀疏视图一键生成高精度3D模型
(ICLR2026) ReconViaGen: Towards Accurate Multi-view 3D Object Reconstruction via Gen···
heygen-app
开源
写几行代码,数字人视频就能批量发货。
A Python toolkit for generating AI avatar videos and managing resources using the He···
InterAct
开源
一句话生成3D人机交互动作,数据规模大、交互丰富
[CVPR 2025] InterAct: Advancing Large-Scale Versatile 3D Human-Object Interaction Ge···
immortal-skill
开源
一键从聊天记录蒸馏出数字分身,让AI学会你的灵魂。
♾️ 开源数字永生框架 — 从聊天记录蒸馏任何人的七维数字分身。支持微信/飞书/iMessage/···
Open-LLM-VTuber
开源
对着电脑说话,Live2D 角色替你回答,支持打断,全本地运行。
Talk to any LLM with hands-free voice interaction, voice interruption, and Live2D av···