omnitalker

输入文本和参考视频,实时生成风格一致的数字人说话视频

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 30 👀 关注 20
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 424
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,可自行部署使用,无在线服务,全部功能免费。

项目预览

omnitalker 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队HumanAIGC
定价模式🏷️完全免费
价格说明开源项目,可自行部署使用,无在线服务,全部功能免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言JavaScript
技术栈/模型audio-visual,diffusion-transformer,real-time,talking-head
GitHub 星标★ 424
上线时间2025-03-31 00:00:00
代码更新2025-09-19
仓库体积504.3 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

OmniTalker 是一个基于 NeurIPS 2025 论文实现的实时文本驱动说话头生成项目,采用 JavaScript 技术栈,核心能力是在音频-视觉风格复制的上下文中,根据文本实时生成具有个性化风格的数字人头部视频。它解决了传统数字人生成中风格迁移困难、实时性不足的问题,通过上下文学习实现音频和视觉风格的同步复制,使生成的口型、表情和头部动作与目标人物高度一致。项目提供完整的推理代码和预训练模型,支持自定义音频和参考视频,适用于虚拟主播、在线教育、影视制作等场景。作为早期项目,星标数已达 425,社区关注度较高,但文档和生态仍在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 424

使用教程

难度:入门 约 10 分钟 部署方式:无需部署 4 步

环境要求

  • 无需环境

安装与启动步骤

  1. 1先确认这里有什么

    本仓库是论文项目主页,只有介绍与链接,没有推理代码。

  2. 2读摘要看它解决什么

    实时文本驱动的说话头生成,重点在风格复制的上下文学习。

  3. 3去演示页试效果

    官方在模型社区有在线演示,直接试比读论文直观。

  4. 4要复现就找代码仓库

    复现代码不在这个仓库里,按论文与主页给出的地址去找。

如何确认成功

你能说清它与传统说话头方法在「风格复制」上的差别,并指出在线演示里哪一段体现了这一点

注意事项

  • 状态说明:本仓库只托管项目主页与论文信息,不含推理代码与权重,想要可运行的实现要去官方演示页或其它仓库。
  • 论文被会议接收,方法细节以论文为准。
  • 在线演示的效果经过挑选,实际复现通常有差距。
  • 生成的说话视频涉及肖像权,公开使用需授权。

核心亮点

  • 基于 NeurIPS 2025 论文,算法新颖,音频-视觉风格复制技术领先
  • 支持实时生成,满足直播、交互等低延迟场景需求
  • 提供预训练模型和推理代码,上手门槛较低

不足之处

  • 早期项目,文档和社区生态待观察
  • JavaScript 技术栈在数字人领域相对小众,可能影响扩展性

适用场景

  • 虚拟主播/数字人直播
  • 在线教育课件生成
  • 影视预演和游戏角色动画

替代项目

SadTalker、Wav2Lip、GeneFace

上一篇:awesome-avatar-plaza

下一篇:SyncTalk

同类项目推荐

SyncTalk 开源

让数字人说话口型精准同步,告别嘴型对不上的尴尬

[CVPR 2024] This is the official source for our paper "SyncTalk: The Devil is in the···

★ 1626 2026-08-09
CityDreamer 开源

一键生成无限大的逼真3D城市,告别手工建模

The official implementation of "CityDreamer: Compositional Generative Model of Unbou···

★ 701 2026-08-09
DLRS 开源

把你备份成数字遗产,多年后仍能对话。

DLRS: Privacy-first digital life archive standard for consent governance, AI avatars···

★ 4 2026-08-09
OmniX 开源

全景图一键生成可渲染的 PBR 3D 场景

Official implementation of "OmniX: From Unified Panoramic Generation and Perception ···

★ 115 2026-10-27
aiavatarkit 开源

快速搭建能说会道的AI虚拟形象,接入ChatGPT和语音合成,几分钟搞定。

Building AI-based conversational avatars lightning fast ⚡️

★ 704 2026-08-09
DIMO 开源

给任意3D物体一键生成多种自然运动,动画制作快人一步

[ICCV 2025 (Highlight)] DIMO: Diverse 3D Motion Generation for Arbitrary Objects

★ 156 2026-08-09
heygen-app 开源

写几行代码,数字人视频就能批量发货。

A Python toolkit for generating AI avatar videos and managing resources using the He···

★ 5 2026-08-09
ChatdollKit 开源

让 3D 模型秒变能听会说的 AI 聊天角色

ChatdollKit enables you to make your 3D model into a chatbot

★ 1280 2026-08-09
CEB_ECON 开源

上传照片,一键生成可用的 3D 角色模型

AI based all-in-one character generator Blender plug-in. This project contains unoff···

★ 93 2026-08-09