fantasy-talking2

上传音频和照片，生成唇形精准、表情自然的说话视频

FantasyTalking2 是一个基于扩散模型的音频驱动人像动画生成项目，发表于 AAAI 2026。它解决的是传统方法在音频-视觉同步和动作自然度上的不足，通过引入时间步-层自适应偏好优化（Timestep-Layer Adaptive Preference Optimization）机制，在推理时动态调整不同时间步和网络层对音频特征的响应权重，从而生成唇形同步更精准、表情更丰富的人像视频。核心能力包括：支持任意音频输入驱动静态人像产生说话动作，优化视频帧间的时序一致性，并提升生成视频的视觉质量。项目处于早期阶段，代码和模型尚未完全开放，但技术路线具有创新性，适合研究音频驱动生成和扩散模型优化的开发者关注。

开源 unknown 视频生成

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 65

维护状态低维护

是否开源是

定价模式 unknown

项目数据

分类视频生成

开发团队Fantasy-AMAP

所属国家

官网地址https://fantasy-amap.github.io/fantasy-talking2

GitHubhttps://github.com/Fantasy-AMAP/fantasy-talking2

定价模式unknown

价格说明官网为项目展示页，未提供在线体验或定价信息，需进一步确认。

访问状态

是否开源是

开源协议

主要语言

技术栈/模型audio-driven-portrait-animations,audio-driven-talking-face,diffusion-models,video-generation

GitHub 星标★ 65

30天Star增速

HF 下载量

上线时间2025-08-15 00:00:00

最近更新2026-07-20 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

核心亮点

提出时间步-层自适应偏好优化，显著提升音频-视觉同步精度
基于扩散模型，生成视频的帧间一致性和自然度优于传统GAN方法
技术方案发表于AAAI 2026，学术价值高，方法可复现性强

不足之处

项目处于早期，代码和预训练模型未完全开源，上手门槛高
文档和社区支持待观察，缺少详细使用教程

适用场景

数字人视频制作，快速生成虚拟主播
影视预演和动画制作中的口型同步
辅助语言学习，生成发音口型示范视频

替代项目

SadTalker、Wav2Lip、LivePortrait

项目介绍

fantasy-talking2 是数字人3D领域的开源项目，由 Fantasy-AMAP 开发，2025 年首次发布。

它收录于数字人3D分类，该分类目前共有 272 个项目，GitHub 星标数为 65。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-20。官网为项目展示页，未提供在线体验或定价信息，需进一步确认。从国内网络环境看，可直接访问。

它主要面向的使用场景是：数字人视频制作，快速生成虚拟主播。同类可对比的替代方案包括 SadTalker、Wav2Lip、LivePortrait。

上一篇：MoDA

下一篇：LangScene-X