Speech2Video

输入一段语音,自动生成带3D姿态的说话人视频

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 9 🐛 待处理 6 👀 关注 8 ⚠️ 作者已归档(停止维护)
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 99
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,无在线服务,需自行部署,完全免费。

项目预览

Speech2Video 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队michaelzhang-ai
定价模式🏷️完全免费
价格说明开源项目,无在线服务,需自行部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
技术栈/模型3d,accv,aigc,body,computer-vision,face,gan,generative-ai,gesture,hand,pose,rnn,simulation,speech,speech2video-synthesis,talking-head,talking-heads,video
GitHub 星标★ 99
上线时间2020-07-24 00:00:00
代码更新2026-02-27
仓库体积2.9 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

Speech2Video 是一个基于 ACCV 2020 论文的开源项目,旨在从单一音频输入生成具有3D骨架正则化和丰富身体姿态的说话人视频。它解决的核心问题是传统说话人视频生成中音频与视觉动作不同步、姿态僵硬、缺乏表现力等问题。项目通过将语音特征映射到3D人体骨架序列,再结合表情和身体姿态生成,最终合成自然流畅的说话人视频。核心能力包括:音频驱动的3D骨架预测、姿态与表情的联合建模、以及基于骨架正则化的视频渲染。该项目属于早期研究原型,代码和模型已公开,适合学术研究和二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 99

技术标签

核心亮点

  • 基于3D骨架正则化,动作自然且减少姿态漂移
  • 支持表情与身体姿态联合建模,表现力强
  • 论文方法公开,适合学术复现与改进

不足之处

  • 项目处于早期阶段,文档和社区支持待观察
  • 依赖特定数据集和预训练模型,泛化性待验证

适用场景

  • 学术研究:语音驱动3D人体动画生成
  • 虚拟主播/数字人内容制作
  • 辅助视频配音与口型同步

替代项目

Wav2Lip、MakeItTalk、Audio2Face

上一篇:echomimic

下一篇:fantasy-talking

同类项目推荐

-Prototype-AIVTuber 开源

用GPT-3和VTuber引擎,快速搭建AI虚拟主播,实现直播自动互动。

a open-source Artificial Intelligence Virtual Youtuber (AI VTuber), (this project is···

★ 435 2026-08-09
Soul-of-Waifu 开源

给二次元角色注入灵魂,在桌面开启沉浸式 AI 陪伴与冒险

Give a soul to your favorite characters. Soul of Waifu is a desktop roleplay & AI co···

★ 1451 2026-08-09
SadTalker 开源

一张照片+一段语音,生成逼真说话数字人视频

[CVPR 2023] SadTalker:Learning Realistic 3D Motion Coefficients for Stylized Audio-···

★ 14188 2026-08-09
VideoScene 开源

输入图像,一步生成 3D 场景,告别多步优化

[CVPR 2025 Highlight] VideoScene: Distilling Video Diffusion Model to Generate 3D Sc···

★ 356 2026-08-09
TalkingHead 开源

给 3D 角色一键加上自然说话口型,实时驱动虚拟人。

Talking Head (3D): A JavaScript class for real-time lip-sync using full-body 3D avat···

★ 1667 2026-08-09
reality-engine 开源

用 AI 快速搭建会演变的虚拟世界和故事

Top Dynamic AI World Simulation & Storytelling Tools 2026

★ 132 2026-08-09
GaussianCity 开源

一句话生成无边界3D城市,实时漫游

The official implementation of "GaussianCity: Generative Gaussian Splatting for Unbo···

★ 342 2026-08-09