
TalkingHead
给 3D 角色一键加上自然说话口型,实时驱动虚拟人。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1667
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- 现代浏览器,官方演示均在 Chrome 中实时录制,推荐使用 Chrome
- 从 GitHub 获取的 TalkingHead 仓库源码
- 准备好用于驱动口型的文本或音频素材(如 MP3)
安装与启动步骤
-
1获取项目源码
从 GitHub 克隆仓库到本地,README 未提供 npm 包安装命令,以源码方式使用。
git clone https://github.com/met4citizen/TalkingHead.git -
2阅读仓库文档
README 节选只有演示视频,实际安装与 API 说明需查看仓库完整文档和示例目录。
-
3启动测试页面
用你惯用的静态文件服务器托管仓库,打开其中的 TalkingHead 测试网页;README 未给出具体命令。
-
4用 Chrome 验证效果
在 Chrome 中打开测试页,观察 3D 头像是否实时说话、口型是否与语音同步。
-
5接入自己的项目
在页面中加载 3D 模型,接入文本或音频输入,调用口型同步与 speakAudio 等接口。
如何确认成功
在 Chrome 中打开测试页,3D 头像能实时眨眼、微动并与语音同步说话即算成功。
常见问题
Q:如何让头像跟着一段 MP3 说话?
A:使用 TalkingHead 的 speakAudio 方法播放音频并同步口型,官方演示中即用该方式让 Michael 对口型 MP3 曲目。
Q:口型和表情动画需要手动制作吗?
A:不需要。TalkingHead 会根据语音自动生成 viseme(口型)并附带眨眼、头部微动。
Q:支持哪些语言的口型同步?
A:官方演示覆盖英语和芬兰语,可结合 GPT-3.5、Microsoft TTS、OpenAI Whisper 或 Google TTS 使用。
Q:可以让 AI 控制头像动作吗?
A:可以。README 演示了用 OpenAI 的 function calling 控制头像动作,并配合 Google TTS 生成口型。
注意事项
- 官方演示视频均为 Chrome 浏览器运行测试应用的实时录屏,无后期处理,建议用 Chrome 验证效果。
- README 节选未给出安装命令、端口和配置项,本文步骤为通用准备动作,落地前请查阅仓库完整文档。
- 动态骨骼(如头发)功能需配合带骨骼绑定的自定义模型使用。
核心亮点
- 实时口型同步:基于音频波形自动生成口型,无需手动 K 帧
- 支持全身 3D 头像:不仅口型,还包含头部和身体微动,更自然
- 轻量易集成:纯 JavaScript 类,可快速嵌入现有 Web 3D 项目
不足之处
- 文档/社区待观察
- 依赖外部 3D 模型格式,模型兼容性和加载性能需自行调优
适用场景
- 虚拟主播/数字人直播:让 3D 形象实时说话
- 在线教育/客服:用 3D 虚拟人讲解或接待
- 游戏 NPC 对话:增强角色互动真实感
替代项目
Rhubarb Lip Sync、Live2D Cubism、Rokoko LipSync
上一篇:worldexplorer
下一篇:LIHQ
同类项目推荐
cyber-xiaoya-live
开源
开源组件搭出会说话、能读弹幕的直播数字人
赛博小雅直播版 · 组件版数字人(Vidu s2)· 免费开源 AGPL-3.0 · 作者:天工开帧(抖音···
3DGenStudio
开源
一个界面走完从文字到带贴图3D模型的全流程
Orchestrate complete 3D generation pipelines — from text-to-image, image editing, m···
diffindscene
开源
一句话文本或布局,自动生成高质量 3D 室内场景
[CVPR2024] DiffInDScene: Diffusion-based High-Quality 3D Indoor Scene Generation
StableGen
开源
在 Blender 里用 AI 一键生成纹理,告别繁琐贴图流程
Transform your 3D texturing workflow with the power of generative AI, directly withi···
xiaokeai
开源
桌面 3D 角色陪你语音聊天,还会抽塔罗
Open-source 3D AI companion and transparent desktop pet. Also: 开源 3D AI 伴侣, 本地···
Text2Video
开源
输入文字,自动生成口型同步的说话人视频。
ICASSP 2022: "Text2Video: text-driven talking-head video synthesis with phonetic dic···
3d-model-anything
开源
手机扫房间,浏览器里编辑三维模型
Capture iPhone LiDAR and photos, reconstruct editable Three.js rooms, and explore th···
aigcpanel
开源
本地模型一键装,文本音频直接变数字人视频
AIGCPanel 是一个简单易用的一站式AI数字人系统,支持视频合成、声音合成、声音克隆,简化···
一张照片生成可实时驱动的 3D 数字人头
[NeurIPS 2024] Generalizable and Animatable Gaussian Head Avatar