float

上传音频和照片，一键生成口型同步的逼真说话视频。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 视频生成 🍴 复刻 66 🐛 待处理 9 👀 关注 15
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 497
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，代码公开，可自行部署使用，无付费版本。

项目预览

float 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类视频生成
开发团队deepbrainai-research
官网地址https://deepbrainai-research.github.io/float
GitHubhttps://github.com/deepbrainai-research/float
定价模式🏷️完全免费
价格说明开源项目，代码公开，可自行部署使用，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型audio-driven-portrait-animations,lip-sync,video-generation
GitHub 星标★ 497
上线时间2024-11-27 00:00:00
代码更新2025-11-10
仓库体积75.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

FLOAT 是一个基于 PyTorch 的音频驱动人像动画生成框架，论文发表于 ICCV 2025。它通过生成式运动潜流匹配（Generative Motion Latent Flow Matching）技术，将音频信号映射为连续的人像运动序列，从而驱动静态肖像产生自然、同步的口型和头部动作。核心解决传统方法中音频与口型同步生硬、运动不自然的问题，支持高分辨率视频生成。项目提供官方训练和推理代码，适用于数字人、虚拟主播、影视预演等场景。其创新点在于采用流匹配模型替代扩散模型，在生成质量和推理速度上取得平衡，并支持多风格人像输入。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 497

技术标签

使用教程

难度：高级 约 70 分钟 部署方式：本地GPU 5 步

环境要求

  • CUDA 显卡
  • Python 3.9+
  • 模型权重
  • 参考人像

安装与启动步骤

  1. 1先读它的定位

    它是音频驱动说话人像生成的研究实现。

  2. 2装依赖与权重

    权重按仓库说明取。

  3. 3跑一次生成

    给一段音频与一张人像。

  4. 4看口型同步

    这类方法的核心指标是音画同步。

  5. 5试情绪增强

    它支持语音驱动情绪变化。

如何确认成功

输入一段带明显停顿与重音的音频，生成视频的口型开合与音频节奏同步，停顿处嘴部闭合

注意事项

  • 它用流匹配方法做音频驱动的说话人像视频生成。
  • 在运动潜空间里生成，而不是逐像素扩散，采样更快。
  • 音画同步是核心指标，尤其看停顿与重音处。
  • 研究实现，权重与接口随论文更新。

核心亮点

  • 基于流匹配的生成式方法，口型同步精度和运动自然度优于传统回归式方法
  • 官方 ICCV 2025 论文代码，训练和推理流程完整，便于复现
  • 支持高分辨率输出，适合实际数字人应用

不足之处

  • 项目处于早期阶段，文档和社区支持待观察
  • 依赖大规模训练数据，个人用户复现成本较高

适用场景

  • 数字人客服和虚拟助手
  • 影视配音和动画预演
  • 在线教育和内容创作

替代项目

SadTalker、Wav2Lip、GeneFace

上一篇：ditto-talkinghead

下一篇：EDTalk

同类项目推荐

TAR3D 开源

像拼积木一样，逐部件预测生成高质量 3D 模型

Official Code for 'TAR3D: Creating High-Quality 3D Assets via Next-Part Prediction' ···

★ 79 2026-08-09
omnitalker 开源

输入文本和参考视频，实时生成风格一致的数字人说话视频

[NeurIPS 2025] OmniTalker: Real-Time Text-Driven Talking Head Generation with In-C···

★ 424 2026-08-09
echomimic_v2 开源

一张半身照，AI 帮你生动出镜说话

[CVPR 2025] EchoMimicV2: Towards Striking, Simplified, and Semi-Body Human Animation

★ 4676 2026-08-09
ExAvatar_RELEASE 开源

单段视频训练可动全身高斯数字人

Official PyTorch implementation of "Expressive Whole-Body 3D Gaussian Avatar", ECCV ···

★ 676 2026-10-28
xtalker 开源

在普通CPU上快速生成说话人脸动画，摆脱GPU依赖

Faster Talking Face Animation on Xeon CPU

★ 126 2026-08-09
Wonder3D 开源

上传一张图，两分钟生成可用的3D模型

Single Image to 3D using Cross-Domain Diffusion for 3D Generation

★ 5453 2026-08-09
Blend_My_NFTs 开源

用 Blender 批量生成数千个 3D 变体，一键搞定 NFT 系列

Easily generate thousands of 3D models, images, and animation automatically in Blend···

★ 1020 2026-08-09
echomimic_v3 开源

1.3B小模型搞定数字人，音频文本驱动全身动画

[AAAI 2026] EchoMimicV3: 1.3B Parameters are All You Need for Unified Multi-Modal an···

★ 1118 2026-08-09
character-policy 开源

让数字人说话时全身动作跟着语音走

character-policy: Official Benchmark & Codebase for Multimodal 3D Character & Holist···

★ 1315 2026-11-01