Omniverse-Virtual-Assisstant

让虚拟人开口说话,表情同步更逼真

这是一个基于NVIDIA Omniverse平台的虚拟助手项目,核心功能是结合Audio2Face面部动画技术与Riva SDK的语音能力,打造一个能听会说的3D数字人。它解决的是传统虚拟助手缺乏生动面部表情和自然交互体验的问题。项目通过Python实现,整合了语音识别(STT)、文本转语音(TTS)以及Audio2Face的实时面部驱动,让虚拟形象能够根据语音内容自动生成匹配的口型和表情。同时,项目支持Google Cloud语音服务,提供云端处理选项。核心能力包括:实时语音交互、面部动画同步、多平台语音服务集成,以及基于Omniverse的高质量渲染。适合开发者快速搭建具有沉浸感的虚拟助手原型,用于展览、客服、教育等场景。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 73
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队zslrmhb
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,可免费使用和部署,无在线服务或付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型animation,audio2face,google-cloud,nvidia,omniverse,python,speech-recognition,speech-to-text,text-to-speech,virtual-assistant
GitHub 星标★ 73
30天Star增速
HF 下载量
上线时间2022-12-15 00:00:00
最近更新2026-06-18 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

核心亮点

  • 深度整合NVIDIA Audio2Face,实现语音驱动的精准口型与表情同步
  • 集成Riva SDK与Google Cloud,提供多种语音识别和合成方案
  • 基于Omniverse平台,可复用其生态中的3D资产与渲染管线

不足之处

  • 依赖NVIDIA专有生态,部署门槛较高
  • 文档/社区待观察

适用场景

  • 虚拟客服与导览员
  • 数字人直播与内容创作
  • 沉浸式教育或培训演示

替代项目

Live2D、Rhubarb Lip Sync、TalkingHead

项目介绍

Omniverse-Virtual-Assisstant 是数字人3D领域的开源项目,由 zslrmhb 开发,2022 年首次发布。

它收录于数字人3D分类,该分类目前共有 272 个项目,GitHub 星标数为 73。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-06-18。MIT许可证,可免费使用和部署,无在线服务或付费版本。

它主要面向的使用场景是:虚拟客服与导览员。同类可对比的替代方案包括 Live2D、Rhubarb Lip Sync、TalkingHead。

上一篇:location-based-AR-app

下一篇:utsuwa

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 272 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 798 2026-08-21