TalkingHead

给 3D 角色一键加上自然说话口型,实时驱动虚拟人。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 367 🐛 待处理 7 👀 关注 25
GitHub ↗
GitHub 星标 ★ 1667
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

TalkingHead 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队met4citizen
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言JavaScript
技术栈/模型3d-avatar,lip-sync,talking-avatar,talking-head,text-to-speech
GitHub 星标★ 1667
上线时间2023-08-14 00:00:00
代码更新2026-11-04
仓库体积91.5 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数5

项目介绍

TalkingHead 是一个基于 JavaScript 的实时口型同步类库,专门用于驱动全身 3D 虚拟形象说话。它解决了开发者快速为 3D 角色添加自然说话动画的难题,无需手动制作复杂的口型和表情动画。核心能力包括:加载 3D 模型、接收文本或音频输入、自动生成与语音同步的口型、眨眼和头部微动,并支持实时渲染。项目采用模块化设计,易于集成到网页或应用中,适合虚拟主播、数字人客服、游戏 NPC 对话等场景。其技术栈聚焦于 3D 头像与 TTS 的融合,目前仍在成长中,社区活跃度尚可。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1667

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 30 分钟 部署方式:库/依赖 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 现代浏览器,官方演示均在 Chrome 中实时录制,推荐使用 Chrome
  • 从 GitHub 获取的 TalkingHead 仓库源码
  • 准备好用于驱动口型的文本或音频素材(如 MP3)

安装与启动步骤

  1. 1获取项目源码

    从 GitHub 克隆仓库到本地,README 未提供 npm 包安装命令,以源码方式使用。

    git clone https://github.com/met4citizen/TalkingHead.git
  2. 2阅读仓库文档

    README 节选只有演示视频,实际安装与 API 说明需查看仓库完整文档和示例目录。

  3. 3启动测试页面

    用你惯用的静态文件服务器托管仓库,打开其中的 TalkingHead 测试网页;README 未给出具体命令。

  4. 4用 Chrome 验证效果

    在 Chrome 中打开测试页,观察 3D 头像是否实时说话、口型是否与语音同步。

  5. 5接入自己的项目

    在页面中加载 3D 模型,接入文本或音频输入,调用口型同步与 speakAudio 等接口。

如何确认成功

在 Chrome 中打开测试页,3D 头像能实时眨眼、微动并与语音同步说话即算成功。

常见问题

Q:如何让头像跟着一段 MP3 说话?

A:使用 TalkingHead 的 speakAudio 方法播放音频并同步口型,官方演示中即用该方式让 Michael 对口型 MP3 曲目。

Q:口型和表情动画需要手动制作吗?

A:不需要。TalkingHead 会根据语音自动生成 viseme(口型)并附带眨眼、头部微动。

Q:支持哪些语言的口型同步?

A:官方演示覆盖英语和芬兰语,可结合 GPT-3.5、Microsoft TTS、OpenAI Whisper 或 Google TTS 使用。

Q:可以让 AI 控制头像动作吗?

A:可以。README 演示了用 OpenAI 的 function calling 控制头像动作,并配合 Google TTS 生成口型。

注意事项

  • 官方演示视频均为 Chrome 浏览器运行测试应用的实时录屏,无后期处理,建议用 Chrome 验证效果。
  • README 节选未给出安装命令、端口和配置项,本文步骤为通用准备动作,落地前请查阅仓库完整文档。
  • 动态骨骼(如头发)功能需配合带骨骼绑定的自定义模型使用。

核心亮点

  • 实时口型同步:基于音频波形自动生成口型,无需手动 K 帧
  • 支持全身 3D 头像:不仅口型,还包含头部和身体微动,更自然
  • 轻量易集成:纯 JavaScript 类,可快速嵌入现有 Web 3D 项目

不足之处

  • 文档/社区待观察
  • 依赖外部 3D 模型格式,模型兼容性和加载性能需自行调优

适用场景

  • 虚拟主播/数字人直播:让 3D 形象实时说话
  • 在线教育/客服:用 3D 虚拟人讲解或接待
  • 游戏 NPC 对话:增强角色互动真实感

替代项目

Rhubarb Lip Sync、Live2D Cubism、Rokoko LipSync

上一篇:worldexplorer

下一篇:LIHQ

同类项目推荐

cyber-xiaoya-live 开源

开源组件搭出会说话、能读弹幕的直播数字人

赛博小雅直播版 · 组件版数字人(Vidu s2)· 免费开源 AGPL-3.0 · 作者:天工开帧(抖音···

★ 795 2026-11-03
3DGenStudio 开源

一个界面走完从文字到带贴图3D模型的全流程

Orchestrate complete 3D generation pipelines — from text-to-image, image editing, m···

★ 774 2026-09-14
diffindscene 开源

一句话文本或布局,自动生成高质量 3D 室内场景

[CVPR2024] DiffInDScene: Diffusion-based High-Quality 3D Indoor Scene Generation

★ 96 2026-08-09
StableGen 开源

在 Blender 里用 AI 一键生成纹理,告别繁琐贴图流程

Transform your 3D texturing workflow with the power of generative AI, directly withi···

★ 1586 2026-08-09
xiaokeai 开源

桌面 3D 角色陪你语音聊天,还会抽塔罗

Open-source 3D AI companion and transparent desktop pet. Also: 开源 3D AI 伴侣, 本地···

★ 359 2026-09-27
Text2Video 开源

输入文字,自动生成口型同步的说话人视频。

ICASSP 2022: "Text2Video: text-driven talking-head video synthesis with phonetic dic···

★ 438 2026-08-09
3d-model-anything 开源

手机扫房间,浏览器里编辑三维模型

Capture iPhone LiDAR and photos, reconstruct editable Three.js rooms, and explore th···

★ 2890 2026-10-26
aigcpanel 开源

本地模型一键装,文本音频直接变数字人视频

AIGCPanel 是一个简单易用的一站式AI数字人系统,支持视频合成、声音合成、声音克隆,简化···

★ 5755 2026-10-21
GAGAvatar 开源

一张照片生成可实时驱动的 3D 数字人头

[NeurIPS 2024] Generalizable and Animatable Gaussian Head Avatar

★ 602 2026-10-14