Co-Speech-Motion-Generation

输入语音,自动生成数字人全身动作,省去动捕和手K动画。

Co-Speech-Motion-Generation 是一个从语音生成自由人体动作的开源项目,主要面向数字人、虚拟角色和动画制作领域。它解决了传统动作生成依赖手动编辑或昂贵动捕设备的问题,能够根据输入的语音信号自动生成与之匹配的全身动作,包括手势、步态和姿态变化。项目基于深度学习模型,利用语音特征与动作序列的映射关系,实现端到端的动作生成。其核心能力包括:支持自由形式的动作输出(不限于特定动作集),能够捕捉语音中的节奏、情感和语义线索,并生成自然连贯的动作序列。项目采用 Python 实现,提供了模型训练和推理的代码框架,适合研究者和开发者进行二次开发和实验。目前项目处于早期阶段,星标数约210,但代码结构清晰,为语音驱动动作生成提供了可复现的基线方案。

开源 free 数字人3D
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 210
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类数字人3D
开发团队TheTempAccount
所属国家
官网地址
定价模式free
价格说明开源项目,可自行部署使用,完全免费。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型co-speech-gesture,generation-algorithms,gesture-controller,talking-head
GitHub 星标★ 210
30天Star增速
HF 下载量
上线时间2021-10-17 00:00:00
最近更新2026-04-25 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

核心亮点

  • 端到端生成自由动作,无需预设动作库,灵活度高
  • 代码结构清晰,基于Python,便于二次开发和实验
  • 提供训练和推理流程,适合学术研究和原型验证

不足之处

  • 文档/社区待观察
  • 早期项目,模型效果和泛化能力未经大规模验证

适用场景

  • 数字人语音交互,生成自然肢体动作
  • 动画制作中快速生成角色动作草稿
  • 虚拟现实/游戏中语音驱动的角色动画

替代项目

Speech2Gesture、Learning to Generate Upper Body Motion、Gesture Generation from Speech

项目介绍

Co-Speech-Motion-Generation 是数字人3D领域的开源项目,由 TheTempAccount 开发,2021 年首次发布。

它收录于数字人3D分类,该分类目前共有 272 个项目,GitHub 星标数为 210。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-04-25。可自行部署使用,完全免费。

它主要面向的使用场景是:数字人语音交互,生成自然肢体动作。同类可对比的替代方案包括 Speech2Gesture、Learning to Generate Upper Body Motion、Gesture Generation from Sp…。

上一篇:latent-pose-reenactment

下一篇:Crystal.TTVS

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 272 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 798 2026-08-21