TalkingHead

给 3D 角色一键加上自然说话口型,实时驱动虚拟人。

TalkingHead 是一个基于 JavaScript 的实时口型同步类库,专门用于驱动全身 3D 虚拟形象说话。它解决了开发者快速为 3D 角色添加自然说话动画的难题,无需手动制作复杂的口型和表情动画。核心能力包括:加载 3D 模型、接收文本或音频输入、自动生成与语音同步的口型、眨眼和头部微动,并支持实时渲染。项目采用模块化设计,易于集成到网页或应用中,适合虚拟主播、数字人客服、游戏 NPC 对话等场景。其技术栈聚焦于 3D 头像与 TTS 的融合,目前仍在成长中,社区活跃度尚可。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1566
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队met4citizen
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言JavaScript
技术栈/模型3d-avatar,lip-sync,talking-avatar,talking-head,text-to-speech
GitHub 星标★ 1566
30天Star增速
HF 下载量
上线时间2023-08-14 00:00:00
最近更新2026-09-23 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:进阶 约 30 分钟 部署方式:库/依赖 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 现代浏览器,官方演示均在 Chrome 中实时录制,推荐使用 Chrome
  • 从 GitHub 获取的 TalkingHead 仓库源码
  • 准备好用于驱动口型的文本或音频素材(如 MP3)

安装与启动步骤

  1. 1获取项目源码

    从 GitHub 克隆仓库到本地,README 未提供 npm 包安装命令,以源码方式使用。

    git clone https://github.com/met4citizen/TalkingHead.git
  2. 2阅读仓库文档

    README 节选只有演示视频,实际安装与 API 说明需查看仓库完整文档和示例目录。

  3. 3启动测试页面

    用你惯用的静态文件服务器托管仓库,打开其中的 TalkingHead 测试网页;README 未给出具体命令。

  4. 4用 Chrome 验证效果

    在 Chrome 中打开测试页,观察 3D 头像是否实时说话、口型是否与语音同步。

  5. 5接入自己的项目

    在页面中加载 3D 模型,接入文本或音频输入,调用口型同步与 speakAudio 等接口。

如何确认成功

在 Chrome 中打开测试页,3D 头像能实时眨眼、微动并与语音同步说话即算成功。

常见问题

Q:如何让头像跟着一段 MP3 说话?

A:使用 TalkingHead 的 speakAudio 方法播放音频并同步口型,官方演示中即用该方式让 Michael 对口型 MP3 曲目。

Q:口型和表情动画需要手动制作吗?

A:不需要。TalkingHead 会根据语音自动生成 viseme(口型)并附带眨眼、头部微动。

Q:支持哪些语言的口型同步?

A:官方演示覆盖英语和芬兰语,可结合 GPT-3.5、Microsoft TTS、OpenAI Whisper 或 Google TTS 使用。

Q:可以让 AI 控制头像动作吗?

A:可以。README 演示了用 OpenAI 的 function calling 控制头像动作,并配合 Google TTS 生成口型。

注意事项

  • 官方演示视频均为 Chrome 浏览器运行测试应用的实时录屏,无后期处理,建议用 Chrome 验证效果。
  • README 节选未给出安装命令、端口和配置项,本文步骤为通用准备动作,落地前请查阅仓库完整文档。
  • 动态骨骼(如头发)功能需配合带骨骼绑定的自定义模型使用。

核心亮点

  • 实时口型同步:基于音频波形自动生成口型,无需手动 K 帧
  • 支持全身 3D 头像:不仅口型,还包含头部和身体微动,更自然
  • 轻量易集成:纯 JavaScript 类,可快速嵌入现有 Web 3D 项目

不足之处

  • 文档/社区待观察
  • 依赖外部 3D 模型格式,模型兼容性和加载性能需自行调优

适用场景

  • 虚拟主播/数字人直播:让 3D 形象实时说话
  • 在线教育/客服:用 3D 虚拟人讲解或接待
  • 游戏 NPC 对话:增强角色互动真实感

替代项目

Rhubarb Lip Sync、Live2D Cubism、Rokoko LipSync

项目介绍

TalkingHead 是数字人3D领域的开源项目,由 met4citizen 开发,2023 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(1,566)位列前 30%,在数字人3D分类的 272 个项目里位列前 14%。

近 42 天,它的 GitHub 星标从 1,471 增加到 1,566,净增 95。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-23。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:虚拟主播/数字人直播:让3D形象实时说话。同类可对比的替代方案包括 Rhubarb Lip Sync、Live2D Cubism、Rokoko LipSync。

上一篇:worldexplorer

下一篇:LIHQ

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 272 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 798 2026-08-21