Talker-T2AV

输入文本,一键生成音画同步的数字人说话视频

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 3 🐛 待处理 1 👀 关注 3
GitHub ↗
GitHub 星标 ★ 95
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可自由使用和部署,无收费版本。

项目预览

Talker-T2AV 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队zhenye234
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可自由使用和部署,无收费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio-video-generation,avatar,talking-head,tts,video,videogen
GitHub 星标★ 95
上线时间2026-04-24 00:00:00
代码更新2026-08-01
仓库体积1.7 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

Talker-T2AV 是一个面向数字人视频生成的学术研究项目,发表于 ACM MM 2026,核心是联合生成与语音同步的音频和视频。它采用自回归扩散模型,将文本作为输入,直接生成说话人的面部视频和对应的语音,解决了传统方法中音频和视频分别生成再拼接导致的不同步、表情僵硬等问题。项目提供完整的训练和推理代码,支持自定义数据集,并包含预训练模型。其核心能力在于通过统一的生成框架,实现音频和视频的联合建模,从而提升口型同步精度和表情自然度,为虚拟主播、视频翻译、辅助沟通等应用提供技术基础。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 95

技术标签

核心亮点

  • 采用自回归扩散模型,音频和视频联合生成,口型同步更自然
  • 提供完整训练与推理代码,支持自定义数据集,便于二次开发
  • 发表于 ACM MM 2026,算法有学术背书,技术路线较新

不足之处

  • 项目处于早期,星标少,社区生态和文档完善度待观察
  • 依赖大量计算资源,训练门槛较高,普通开发者难以快速上手

适用场景

  • 虚拟主播和数字人视频制作,快速生成口播内容
  • 视频翻译和配音,自动生成与目标语言匹配的说话视频
  • 辅助沟通工具,为语言障碍者生成可视化语音

替代项目

SadTalker、Wav2Lip、GeneFace

上一篇:utsuwa

下一篇:XnneHangLab

同类项目推荐

NeuralLift-360 开源

一张照片,转出 360° 可旋转的 3D 模型

[CVPR 2023, Highlight] "NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Obje···

★ 319 2026-08-09
dsh-voice-ai-girlfriend 开源

给 DeepSeek 装上会说话、能打断的语音女友

语音 AI 女友(Voice AI girlfriend for DeepSeek Harness):Whisper 语音输入 + Qwen3-T···

★ 1028 2026-09-23
aafactory-prototype 开源

一键生成并管理你的 AI 虚拟形象

⚡ AI Avatar Factory is an interface for creating and managing AI avatars. ⚡

★ 65 2026-08-09
Kiss3DGen 开源

用图像扩散模型直接生成3D资产,告别昂贵3D数据

[CVPR 2025] Official implementation of "Kiss3DGen: Repurposing Image Diffusion Model···

★ 297 2026-08-09
ICCV2023-MCNET 开源

用一张照片生成身份一致的说话头视频

The official code of our ICCV2023 work: Implicit Identity Representation Conditioned···

★ 253 2026-08-09
TripoSF 开源

从稀疏输入生成高分辨率、任意拓扑的 3D 模型

SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

★ 779 2026-08-09
AvatarOptimizer 开源

不改原模型,一键把 VRChat 角色性能从 Poor 拉到 Good

AAO: Avatar Optimizer: Non Destructive Avatar Optimization Utilities

★ 377 2026-10-14
Magic123 开源

一张图,几秒钟生成高质量 3D 模型,几何纹理双保障。

[ICLR'24] Official PyTorch Implementation of Magic123: One Image to High-Quality 3D ···

★ 1621 2026-08-09
GaussianCube 开源

把3D高斯塞进立方体,让生成模型直接吃,又快又稳

[NeurIPS 2024] GaussianCube: A Structured and Explicit Radiance Representation for 3···

★ 427 2026-08-09