Omniverse-Virtual-Assisstant

让虚拟人开口说话,表情同步更逼真

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 17 👀 关注 3
GitHub ↗
GitHub 星标 ★ 73
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可免费使用和部署,无在线服务或付费版本。

项目预览

Omniverse-Virtual-Assisstant 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队zslrmhb
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可免费使用和部署,无在线服务或付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型animation,audio2face,google-cloud,nvidia,omniverse,python,speech-recognition,speech-to-text,text-to-speech,virtual-assistant
GitHub 星标★ 73
上线时间2022-12-15 00:00:00
代码更新2023-01-02
仓库体积6.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

这是一个基于NVIDIA Omniverse平台的虚拟助手项目,核心功能是结合Audio2Face面部动画技术与Riva SDK的语音能力,打造一个能听会说的3D数字人。它解决的是传统虚拟助手缺乏生动面部表情和自然交互体验的问题。项目通过Python实现,整合了语音识别(STT)、文本转语音(TTS)以及Audio2Face的实时面部驱动,让虚拟形象能够根据语音内容自动生成匹配的口型和表情。同时,项目支持Google Cloud语音服务,提供云端处理选项。核心能力包括:实时语音交互、面部动画同步、多平台语音服务集成,以及基于Omniverse的高质量渲染。适合开发者快速搭建具有沉浸感的虚拟助手原型,用于展览、客服、教育等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 73

核心亮点

  • 深度整合NVIDIA Audio2Face,实现语音驱动的精准口型与表情同步
  • 集成Riva SDK与Google Cloud,提供多种语音识别和合成方案
  • 基于Omniverse平台,可复用其生态中的3D资产与渲染管线

不足之处

  • 依赖NVIDIA专有生态,部署门槛较高
  • 文档/社区待观察

适用场景

  • 虚拟客服与导览员
  • 数字人直播与内容创作
  • 沉浸式教育或培训演示

替代项目

Live2D、Rhubarb Lip Sync、TalkingHead

上一篇:location-based-AR-app

下一篇:utsuwa

同类项目推荐

avatar-compressor 开源

虚拟形象无损压缩,原文件不动、体积变小

LAC: Avatar Compressor: Non-Destructive Avatar Compression Utilities

★ 187 2026-10-28
echomimic 开源

上传音频和照片,一键生成逼真数字人说话视频,还能手动微调表情。

[AAAI 2025] EchoMimic: Lifelike Audio-Driven Portrait Animations through Editable La···

★ 4334 2026-08-09
NOC3D-chapter6 开源

把《代码本色》的智能体算法搬进 3D 世界,边看边学

Nature of Code - Autonomous Agents examples in 3D

★ 74 2026-08-09
ComfyUI_Sonic 开源

一张人像照加一段音频,在 ComfyUI 里生成会说话的数字人视频

Sonic is a method about ' Shifting Focus to Global Audio Perception in Portrait Anim···

★ 1141 2026-10-16
xtalker 开源

在普通CPU上快速生成说话人脸动画,摆脱GPU依赖

Faster Talking Face Animation on Xeon CPU

★ 126 2026-08-09
img2threejs 开源

看图片,自动生成可动画的 Three.js 模型代码

Rebuild the object in a reference image as a code-only, procedural, quality-gated, a···

★ 21019 2026-08-09
DreamScene 开源

输入一句话,自动生成多物体 3D 场景,布局合理不打架

[ECCV2024] DreamScene: 3D Gaussian-based Text-to-3D Scene Generation via Formation P···

★ 232 2026-08-09
Crystal.TTVS 开源

让语音合成拥有3D表情,实时生成会说话的数字人

Crystal TTVS engine is a real-time audio-visual Multilingual speech synthesizer with···

★ 88 2026-08-09
dsh-blender-plugin 开源

AI 直连 Blender,说话就能建模调渲染

DSH × Blender 直连插件 v3.0.6:15 个模型工具让 AI 驱动 GUI Blender(视口 / 自定义视···

★ 1927 2026-10-19