Mediapipe4u-plugin

用摄像头实时驱动UE虚拟角色,动捕交互一步到位

Mediapipe4u-plugin 是一个将 Google MediaPipe 的实时人体追踪能力(面部、手势、姿态、整体动作)无缝集成到虚幻引擎(Unreal Engine)中的开源插件。它解决了游戏开发、虚拟制作和交互应用中难以高效、低成本地实现基于摄像头的动作捕捉和手势控制的问题。该插件通过将 MediaPipe 的机器学习推理结果实时转换为 UE 骨骼动画数据,让开发者无需深入底层算法即可驱动虚拟角色,并支持与 TTS(文本转语音)等系统联动,实现口型同步和动态交互。其核心能力包括:多模态追踪(人脸、手部、全身)、实时骨骼驱动、蓝图友好接口,以及为虚拟人、数字人应用提供完整的动捕与交互解决方案。项目目前处于早期阶段,星标数500,但已展现出在虚拟制片、直播和游戏原型开发中的巨大潜力。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 508
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队endink
所属国家
官网地址
定价模式free
价格说明开源插件,本地部署,完全免费
访问状态
是否开源是
开源协议
主要语言
技术栈/模型llm,mediapipe,mediapipe-face,mediapipe-hands,mediapipe-holistic,mediapipe-pose,mediapipe-unrealengine,motioncapture,tts,unrealengine
GitHub 星标★ 508
30天Star增速
HF 下载量
上线时间2022-10-20 00:00:00
最近更新2026-09-07 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

核心亮点

  • 直接对接UE引擎,提供蓝图节点,无需编写C++即可实现动捕驱动
  • 集成MediaPipe多种追踪模型,覆盖面部、手势、全身姿态,功能全面
  • 支持TTS联动,可驱动口型同步,适合虚拟人交互场景

不足之处

  • 项目早期,文档和示例可能不够完善,社区支持待观察
  • 依赖MediaPipe运行时,对硬件性能有一定要求,低端设备可能卡顿

适用场景

  • 游戏开发中快速制作角色动画原型
  • 虚拟主播或数字人的实时驱动与口型同步
  • 交互艺术装置或展览中的体感控制

替代项目

MediaPipe4U、UE4 MediaPipe Plugin、Rokoko Studio

项目介绍

Mediapipe4u-plugin 是数字人3D领域的开源项目,由 endink 开发,2022 年首次发布。

它收录于数字人3D分类,该分类目前共有 272 个项目,GitHub 星标数为 508。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-07。开源插件,本地部署,完全免费。

它主要面向的使用场景是:游戏开发中快速制作角色动画原型。同类可对比的替代方案包括 MediaPipe4U、UE4 MediaPipe Plugin、Rokoko Studio。

上一篇:ZerolanLiveRobot

下一篇:VideoChat

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 272 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 798 2026-08-21