Mediapipe4u-plugin
用摄像头实时驱动UE虚拟角色，动捕交互一步到位
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 513
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 虚幻引擎 5.1+
- Visual Studio 2022
- Windows 10/11
安装与启动步骤
-
1备引擎与工具链
它锁引擎大版本区间，还要对应编译器与系统开发包。
-
2放进插件目录
整个仓库放进工程的插件目录。
-
3生成工程并编译
首次编译耗时长，耐心等。
-
4下语音模型包
语音能力要单独下模型，不在仓库里。
-
5跑官方示例
官方给了完整示例工程，对照着看最快。
如何确认成功
在示例工程里启用插件后能跑通人脸或姿态追踪，画面中的关键点跟随真实动作且延迟可接受
注意事项
- 它是把机器学习能力接进游戏引擎的插件，覆盖人脸、姿态与语音。
- 部分能力分免费版与付费版，落地前先看清边界。
- 编译依赖具体引擎小版本与开发包版本，对不上会直接编不过。
- 语音模型要单独下载，别以为拉完仓库就齐了。
核心亮点
- 直接对接UE引擎，提供蓝图节点，无需编写C++即可实现动捕驱动
- 集成MediaPipe多种追踪模型，覆盖面部、手势、全身姿态，功能全面
- 支持TTS联动，可驱动口型同步，适合虚拟人交互场景
不足之处
- 项目早期，文档和示例可能不够完善，社区支持待观察
- 依赖MediaPipe运行时，对硬件性能有一定要求，低端设备可能卡顿
适用场景
- 游戏开发中快速制作角色动画原型
- 虚拟主播或数字人的实时驱动与口型同步
- 交互艺术装置或展览中的体感控制
替代项目
MediaPipe4U、UE4 MediaPipe Plugin、Rokoko Studio
上一篇：ZerolanLiveRobot
下一篇：VideoChat
同类项目推荐
heygen-app
开源
写几行代码，数字人视频就能批量发货。
A Python toolkit for generating AI avatar videos and managing resources using the He···
arbor
开源
用显式几何精确控制3D生成，告别随机形状
Control 3D Generation with Explicit Geometry
Awesome-3D-Scene-Generation
开源
一页看清 3D 场景生成的研究地图
A curated list of awesome 3D scene generation papers. (IJCV 2026)
SingleShapeGen
开源
一个 3D 模型，自动生成一堆相似新形状
code for paper "Learning to Generate 3D Shapes from a Single Example", SIGGRAPH Asi···
CVPR2022-DaGAN
开源
用深度信息让说话头视频生成更逼真、姿态更可控
Official code for CVPR2022 paper: Depth-Aware Generative Adversarial Network for Tal···
ScanTalk
开源
直接输入3D扫描，音频驱动生成说话头像动画
[ECCV 2024] - ScanTalk: 3D Talking Heads from Unregistered Scans
Hunyuan3D-2
开源
一句话或一张图，秒级生成高精 3D 模型，无需专业建模技能。
High-Resolution 3D Assets Generation with Large Scale Hunyuan3D Diffusion Models.
talking-avatar-with-ai
开源
让网页里的虚拟形象开口说话，还能听懂你
This project is a digital human that can talk and listen to you. It uses OpenAI's GP···
Text2Video
开源
输入文字，自动生成口型同步的说话人视频。
ICASSP 2022: "Text2Video: text-driven talking-head video synthesis with phonetic dic···