ml-talking-face

传一张照片和一段语音,自动生成对口型说话视频

这是一个基于CVPR 2022论文的AI数字人说话视频生成项目,通过输入一段音频和一张静态人脸照片,即可生成人物嘴巴与音频同步的说话视频。项目核心解决的是数字人视频制作中口型同步的难题,利用深度学习模型分析音频特征并驱动面部关键点运动,实现自然逼真的口型匹配。作为Hugging Face Spaces的克隆仓库,它提供了完整的模型推理代码和预训练权重,开发者可以快速部署到本地或服务器,用于创建虚拟主播、教育视频、多语言配音等内容。项目采用Python实现,依赖主流的深度学习框架,适合研究语音驱动面部动画的技术人员或需要批量生成数字人视频的开发者。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 54
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队deepkyu
所属国家
官网地址
定价模式free
价格说明开源项目,无在线服务,需自行部署,全部功能免费。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型multilingual,talking-face-generation,tts
GitHub 星标★ 54
30天Star增速
HF 下载量
上线时间2022-07-14 00:00:00
最近更新2026-04-16 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数9

使用教程

核心亮点

  • 基于CVPR 2022论文,口型同步算法有学术保障
  • 提供预训练模型和推理脚本,上手门槛低
  • 支持自定义音频和图片,灵活适配多种场景

不足之处

  • 文档仅英文且较简略,缺少详细配置指南
  • 依赖较多,环境搭建可能遇到兼容性问题

适用场景

  • 虚拟主播快速生成
  • 教学视频口型配音
  • 多语言视频本地化

替代项目

Wav2Lip、SadTalker、MakeItTalk

项目介绍

ml-talking-face 是数字人3D领域的开源项目,由 deepkyu 开发,2022 年首次发布。

它收录于数字人3D分类,该分类目前共有 272 个项目,GitHub 星标数为 54。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-04-16。无在线服务,需自行部署,全部功能免费。

它主要面向的使用场景是:虚拟主播快速生成。同类可对比的替代方案包括 Wav2Lip、SadTalker、MakeItTalk。

上一篇:vtbai

下一篇:awesome-ai-talking-heads

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 272 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 798 2026-08-21