Talker-T2AV

输入文本，一键生成音画同步的数字人说话视频

Talker-T2AV 是一个面向数字人视频生成的学术研究项目，发表于 ACM MM 2026，核心是联合生成与语音同步的音频和视频。它采用自回归扩散模型，将文本作为输入，直接生成说话人的面部视频和对应的语音，解决了传统方法中音频和视频分别生成再拼接导致的不同步、表情僵硬等问题。项目提供完整的训练和推理代码，支持自定义数据集，并包含预训练模型。其核心能力在于通过统一的生成框架，实现音频和视频的联合建模，从而提升口型同步精度和表情自然度，为虚拟主播、视频翻译、辅助沟通等应用提供技术基础。

开源 free 音频音乐

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 87

维护状态维护中

是否开源是

定价模式 free

项目数据

分类音频音乐

开发团队zhenye234

所属国家

官网地址

GitHubhttps://github.com/zhenye234/Talker-T2AV

定价模式free

价格说明开源项目，Apache-2.0许可证，可自由使用和部署，无收费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型audio-video-generation,avatar,talking-head,tts,video,videogen

GitHub 星标★ 87

30天Star增速

HF 下载量

上线时间2026-04-24 00:00:00

最近更新2026-09-15 00:00:00

维护状态维护中

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

采用自回归扩散模型，音频和视频联合生成，口型同步更自然
提供完整训练与推理代码，支持自定义数据集，便于二次开发
发表于 ACM MM 2026，算法有学术背书，技术路线较新

不足之处

项目处于早期，星标少，社区生态和文档完善度待观察
依赖大量计算资源，训练门槛较高，普通开发者难以快速上手

适用场景

虚拟主播和数字人视频制作，快速生成口播内容
视频翻译和配音，自动生成与目标语言匹配的说话视频
辅助沟通工具，为语言障碍者生成可视化语音

替代项目

SadTalker、Wav2Lip、GeneFace

项目介绍

Talker-T2AV 是数字人3D领域的开源项目，由 zhenye234 开发，是 2026 年新上线的项目。

它收录于数字人3D分类，该分类目前共有 272 个项目，GitHub 星标数为 87。

项目仍在小幅维护中，最近一次代码更新于 2026-09-15。Apache-2.0许可证，可自由使用和部署，无收费版本。

它主要面向的使用场景是：虚拟主播和数字人视频制作，快速生成口播内容。同类可对比的替代方案包括 SadTalker、Wav2Lip、GeneFace。

上一篇：utsuwa

下一篇：XnneHangLab