Speech2Video

输入一段语音，自动生成带3D姿态的说话人视频

Speech2Video 是一个基于 ACCV 2020 论文的开源项目，旨在从单一音频输入生成具有3D骨架正则化和丰富身体姿态的说话人视频。它解决的核心问题是传统说话人视频生成中音频与视觉动作不同步、姿态僵硬、缺乏表现力等问题。项目通过将语音特征映射到3D人体骨架序列，再结合表情和身体姿态生成，最终合成自然流畅的说话人视频。核心能力包括：音频驱动的3D骨架预测、姿态与表情的联合建模、以及基于骨架正则化的视频渲染。该项目属于早期研究原型，代码和模型已公开，适合学术研究和二次开发。

开源 free 数字人3D

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 100

维护状态低维护

是否开源是

定价模式 free

项目数据

分类数字人3D

开发团队michaelzhang-ai

所属国家

官网地址https://sites.google.com/view/sibozhang/speech2video

GitHubhttps://github.com/michaelzhang-ai/Speech2Video

定价模式free

价格说明开源项目，无在线服务，需自行部署，完全免费。

访问状态

是否开源是

开源协议

主要语言

技术栈/模型3d,accv,aigc,body,computer-vision,face,gan,generative-ai,gesture,hand,pose,rnn,simulation,speech,speech2video-synthesis,talking-head,talking-heads,video

GitHub 星标★ 100

30天Star增速

HF 下载量

上线时间2020-07-24 00:00:00

最近更新2026-09-01 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

基于3D骨架正则化，动作自然且减少姿态漂移
支持表情与身体姿态联合建模，表现力强
论文方法公开，适合学术复现与改进

不足之处

项目处于早期阶段，文档和社区支持待观察
依赖特定数据集和预训练模型，泛化性待验证

适用场景

学术研究：语音驱动3D人体动画生成
虚拟主播/数字人内容制作
辅助视频配音与口型同步

替代项目

Wav2Lip、MakeItTalk、Audio2Face

项目介绍

Speech2Video 是数字人3D领域的开源项目，由 michaelzhang-ai 开发，2020 年首次发布。

它收录于数字人3D分类，该分类目前共有 272 个项目，GitHub 星标数为 100。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-01。无在线服务，需自行部署，完全免费。

它主要面向的使用场景是：学术研究：语音驱动3D人体动画生成。同类可对比的替代方案包括 Wav2Lip、MakeItTalk、Audio2Face。

上一篇：echomimic

下一篇：fantasy-talking