fantasy-talking

让虚拟人说话更自然,动作表情不僵硬

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 127 🐛 待处理 42 👀 关注 62
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1629
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用和部署。

项目预览

fantasy-talking 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队Fantasy-AMAP
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型diffusion,diffusion-models,diffusion-transformer,talking-head
GitHub 星标★ 1629
上线时间2025-04-02 00:00:00
代码更新2026-01-26
仓库体积130.9 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

FantasyTalking 是一个面向数字人领域的 3D 说话人像生成框架,由 ACM MM 2025 收录。它解决的是传统说话人像生成中头部运动与表情不协调、动作僵硬的问题,通过引入连贯运动合成机制,让生成的虚拟人物在说话时头部姿态、面部表情和口型变化更加自然流畅。核心能力包括基于 3D 建模的高保真人像重建、运动序列的连贯性优化,以及实时推理支持,能够从单张图片或视频中生成具有真实感的说话人像。项目采用 Python 实现,依赖主流的深度学习框架,提供了完整的训练和推理流程,适合用于虚拟主播、在线教育、影视制作等场景。目前项目处于成长阶段,社区活跃度较高,但文档和生态仍在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1629

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 4 步

环境要求

  • 已安装 Python 环境(项目为 Python 实现)
  • PyTorch >= 2.0.0
  • 可访问 GitHub、Huggingface 或 ModelScope 下载代码与模型权重
  • 磁盘/显存需容纳 Wan2.1-I2V-14B-720P 基座模型与 Wav2Vec 模型

安装与启动步骤

  1. 1克隆项目仓库

    从 GitHub 拉取 fantasy-talking 源码并进入项目目录,注意网络能否访问 GitHub。

    git clone https://github.com/Fantasy-AMAP/fantasy-talking.git
    cd fantasy-talking
  2. 2安装项目依赖

    按 requirements.txt 安装全部 Python 依赖,安装前请确认 torch 版本不低于 2.0.0。

    pip install -r requirements.txt
  3. 3可选安装 flash_attn

    README 标注为可选步骤,用于加速注意力计算;安装失败不影响基础依赖使用。

    pip install flash_attn
  4. 4下载模型权重

    需下载 Wan2.1-I2V-14B-720P 基座模型和 Wav2Vec 模型,README 仅提供 Huggingface/ModelScope 下载链接,按表格中的链接自行下载并放置。

如何确认成功

README 节选未给出启动或推理命令,无法直接验证;建议按仓库 docs/tips.md 用户指南与官网说明进一步确认运行方式。

常见问题

Q:需要安装 flash_attn 吗?

A:不是必需。README 中写明它是可选项,仅用于加速注意力计算,安装失败或环境不兼容时可跳过。

Q:模型权重从哪里下载?

A:README 表格提供了 Huggingface 与 ModelScope 两种镜像:Wan2.1-I2V-14B-720P 基座模型和 Wav2Vec(facebook/wav2vec2-base-960h)。

Q:安装或运行遇到问题怎么办?

A:项目于 2025 年 7 月发布了用户指南 docs/tips.md,用于解决社区反馈的常见问题,可优先查阅。

Q:可以在 ComfyUI 中使用吗?

A:可以,该项目已合并到 ComfyUI-WanVideoWrapper(kijai 维护),可通过 ComfyUI 调用。

注意事项

  • README 要求 torch >= 2.0.0,请提前升级 PyTorch。
  • Wan2.1-I2V-14B-720P 为 14B 参数模型,下载与运行对磁盘和显存要求较高。
  • README 节选未包含推理/训练运行命令,实际启动方式请以仓库 docs 及官网为准。
  • 项目仍在成长阶段,文档和生态持续完善中,建议关注仓库更新。

核心亮点

  • 提出连贯运动合成机制,显著提升头部运动与表情的协调性
  • 基于 3D 建模,生成的人像具有更好的几何一致性和真实感
  • 支持从单图或视频输入,适用性强,且推理速度较快

不足之处

  • 文档/社区待观察
  • 对训练数据质量要求较高,低质量输入可能影响效果

适用场景

  • 虚拟主播和数字人直播
  • 在线教育中的虚拟教师
  • 影视预演和游戏角色动画

替代项目

SadTalker、Wav2Lip、MetaHuman

上一篇:Speech2Video

下一篇:ScanTalk

同类项目推荐

TripoSG 开源

输入图片或文字,秒级生成高保真 3D 模型

TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models

★ 1895 2026-08-09
AI-Waifu-Vtuber 开源

让二次元角色替你在直播中实时聊天互动

AI Vtuber for Streaming on Youtube/Twitch

★ 1123 2026-08-09
PhysX-3D 开源

生成能真实物理交互的3D资产,让数字人动起来更自然

PhysX: Physical-Grounded 3D Asset Generation (NeurIPS 2025, Spotlight)

★ 398 2026-08-09
WorldGen 开源

输入一句话,几秒生成完整 3D 场景,无需建模基础。

WorldGen - Generate Any 3D Scene in Seconds

★ 2205 2026-08-09
Blend_My_NFTs 开源

用 Blender 批量生成数千个 3D 变体,一键搞定 NFT 系列

Easily generate thousands of 3D models, images, and animation automatically in Blend···

★ 1020 2026-08-09
image-to-3dlab 开源

本地把图片文字变成带骨骼的游戏 3D 模型

AssetFurnace: the most complete open-source image-to-3D pipeline (Oct 2026). Prompt ···

★ 1153 2026-10-07
character-policy 开源

让数字人说话时全身动作跟着语音走

character-policy: Official Benchmark & Codebase for Multimodal 3D Character & Holist···

★ 1317 2026-11-01
SUPRA-Tex 开源

一句话生成带对齐纹理和PBR材质的3D模型

SUPRA-Tex: 3D Generation with Super-Aligned Texture

★ 749 2026-10-27
latent-pose-reenactment 开源

用一张照片驱动任意头部视频,生成逼真数字人动画

The authors' implementation of the "Neural Head Reenactment with Latent Pose Descrip···

★ 181 2026-08-09