ACTalker

一句话生成逼真数字人视频,音频表情随心控

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 56 🐛 待处理 10 👀 关注 45
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 467
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,完全免费

项目预览

ACTalker 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队harlanhong
定价模式🏷️完全免费
价格说明开源项目,本地部署,完全免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型avatar,diffusion-models,digitalhuman,face-animation,multi-modal,stablevideodiffusion,talking-head
GitHub 星标★ 467
上线时间2025-03-20 00:00:00
代码更新2025-08-20
仓库体积128.2 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

ACTalker 是一个基于视频扩散模型的端到端说话头生成框架,由 ICCV 2025 论文提出。它解决的是传统说话头合成中控制信号单一、生成效果不自然的问题,支持音频、表情等多种信号单独或组合控制,实现高保真、可编辑的数字人视频生成。其核心能力包括:多信号融合控制、基于扩散模型的视频生成、以及端到端的训练与推理流程。项目提供 Python 实现,适合研究人员和开发者用于数字人、虚拟主播、影视制作等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 467

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 70 分钟 部署方式:本地GPU 4 步

环境要求

  • Python
  • CUDA GPU
  • ffmpeg

安装与启动步骤

  1. 1装系统依赖

    视频编码库要提前装。

    sudo apt install ffmpeg libx264-dev
  2. 2拉代码跑安装脚本

    仓库带一键安装。

    bash install_actalker.sh
  3. 3验环境

    用自检脚本确认关键组件都可用。

    python test_environment.py
  4. 4跑推理

    给参考图、音频与驱动视频。

    CUDA_VISIBLE_DEVICES=0 python Inference.py --config config/inference.yaml --ref assets/ref.jpg --audio assets/audio.mp3 --video assets/video.mp4 --mode 2

如何确认成功

用示例素材跑通一次生成,输出视频里的人物口型与音频对应,头部姿态跟随驱动视频

注意事项

  • 它做的是音频与姿态双驱动的说话人视频生成,属数字人方向的研究代码。
  • 有两个容易漏的前置:视频编码库与某个状态空间模型组件,自检脚本就是查这些。
  • 生成对素材质量敏感,参考图模糊会直接拉低结果。
  • 涉及人物肖像,用他人素材必须取得授权。

核心亮点

  • 支持音频、表情等多信号联合控制,生成更自然
  • 基于扩散模型,视频质量与动态一致性高
  • 端到端框架,无需复杂中间步骤,易于使用

不足之处

  • 早期项目,文档和社区支持待观察
  • 推理速度可能较慢,实时性要求高场景受限

适用场景

  • 数字人主播视频生成
  • 影视预演与虚拟角色制作
  • 交互式虚拟助手形象驱动

替代项目

SadTalker、Wav2Lip、GeneFace

上一篇:SyncTalk

下一篇:wav2lip_288x288

同类项目推荐

Meuxe 开源

让AI伴侣拥有动漫形象,实时表情语音互动

A companion that lives on your desktop. Remembers you, talks back, and stays on your···

★ 79 2026-08-09
DIMO 开源

给任意3D物体一键生成多种自然运动,动画制作快人一步

[ICCV 2025 (Highlight)] DIMO: Diverse 3D Motion Generation for Arbitrary Objects

★ 156 2026-08-09
ditto-talkinghead 开源

音频驱动实时说话头像,运动空间扩散精准可控

[ACM MM 2025] Ditto: Motion-Space Diffusion for Controllable Realtime Talking Head S···

★ 929 2026-08-09
reflect3r 开源

单张照片+镜子,重建出完整 3D 立体模型

[3DV 2026] Reflect3r: Single-View 3D Stereo Reconstruction Aided by Mirror Reflectio···

★ 122 2026-08-09
Open-DiffusionGS 开源

单张图片秒变3D模型,一步到位无需多阶段优化

Baking Gaussian Splatting into Diffusion Denoiser for Fast and Scalable Single-stage···

★ 869 2026-08-09
TripoSG 开源

输入图片或文字,秒级生成高保真 3D 模型

TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models

★ 1888 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 1013 2026-08-21
chat-with-nerf 开源

用大白话问一句,NeRF 场景自动带你去看

[ICRA 2024] Chat with NeRF enables users to interact with a NeRF model by typing in ···

★ 322 2026-08-09
robot-heads 开源

给 AI Agent 装个电视头,状态一眼看懂

Animated 3D robot heads for React: TV-headed bots with LED faces that show what your···

★ 447 2026-10-18