fantasy-talking2

上传音频和照片,生成唇形精准、表情自然的说话视频

开源 🏷️定价信息待确认 ✅ 目前可打开 视频生成 🍴 复刻 3 🐛 待处理 4 👀 关注 8
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 65
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

fantasy-talking2 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队Fantasy-AMAP
定价模式🏷️定价信息待确认
价格说明官网为项目展示页,未提供在线体验或定价信息,需进一步确认。
访问状态✅ 目前可打开
是否开源是
技术栈/模型audio-driven-portrait-animations,audio-driven-talking-face,diffusion-models,video-generation
GitHub 星标★ 65
上线时间2025-08-15 00:00:00
代码更新2025-08-20
仓库体积90.7 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

FantasyTalking2 是一个基于扩散模型的音频驱动人像动画生成项目,发表于 AAAI 2026。它解决的是传统方法在音频-视觉同步和动作自然度上的不足,通过引入时间步-层自适应偏好优化(Timestep-Layer Adaptive Preference Optimization)机制,在推理时动态调整不同时间步和网络层对音频特征的响应权重,从而生成唇形同步更精准、表情更丰富的人像视频。核心能力包括:支持任意音频输入驱动静态人像产生说话动作,优化视频帧间的时序一致性,并提升生成视频的视觉质量。项目处于早期阶段,代码和模型尚未完全开放,但技术路线具有创新性,适合研究音频驱动生成和扩散模型优化的开发者关注。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 65

核心亮点

  • 提出时间步-层自适应偏好优化,显著提升音频-视觉同步精度
  • 基于扩散模型,生成视频的帧间一致性和自然度优于传统GAN方法
  • 技术方案发表于AAAI 2026,学术价值高,方法可复现性强

不足之处

  • 项目处于早期,代码和预训练模型未完全开源,上手门槛高
  • 文档和社区支持待观察,缺少详细使用教程

适用场景

  • 数字人视频制作,快速生成虚拟主播
  • 影视预演和动画制作中的口型同步
  • 辅助语言学习,生成发音口型示范视频

替代项目

SadTalker、Wav2Lip、LivePortrait

上一篇:MoDA

下一篇:LangScene-X

同类项目推荐

prompt-to-animation 开源

打几个字就变动画角色,创意一秒动起来。

Prompt to Animation — turn a text description into a downloadable interactive chara···

★ 6 2026-08-09
Talking_Face_Avatar 开源

一张图+一段音频,生成会说话的角色头像视频

Avatar Generation For Characters and Game Assets Using Deep Fakes

★ 237 2026-08-09
CEB_ECON 开源

上传照片,一键生成可用的 3D 角色模型

AI based all-in-one character generator Blender plug-in. This project contains unoff···

★ 93 2026-08-09
HeadSculpt 开源

输入一句话,快速生成可编辑的 3D 头部头像

[NeurIPS 2023] HeadSculpt: Crafting 3D Head Avatars with Text

★ 116 2026-08-09
echomimic_v2 开源

一张半身照,AI 帮你生动出镜说话

[CVPR 2025] EchoMimicV2: Towards Striking, Simplified, and Semi-Body Human Animation

★ 4676 2026-08-09
awesome-ai-talking-heads 开源

一站式收藏说话头像生成论文与代码,快速入门

A curated list of 'Talking Head Generation' resources. Features influential papers, ···

★ 74 2026-08-09
amica 开源

让 3D 角色开口说话,打造沉浸式语音交互体验

Amica is an open source interface for interactive communication with 3D characters w···

★ 1624 2026-08-09
sjc 开源

用2D扩散模型直接生成3D,无需3D数据

Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation (C···

★ 523 2026-08-09