项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 467
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python
- CUDA GPU
- ffmpeg
安装与启动步骤
-
1装系统依赖
视频编码库要提前装。
sudo apt install ffmpeg libx264-dev -
2拉代码跑安装脚本
仓库带一键安装。
bash install_actalker.sh -
3验环境
用自检脚本确认关键组件都可用。
python test_environment.py -
4跑推理
给参考图、音频与驱动视频。
CUDA_VISIBLE_DEVICES=0 python Inference.py --config config/inference.yaml --ref assets/ref.jpg --audio assets/audio.mp3 --video assets/video.mp4 --mode 2
如何确认成功
用示例素材跑通一次生成,输出视频里的人物口型与音频对应,头部姿态跟随驱动视频
注意事项
- 它做的是音频与姿态双驱动的说话人视频生成,属数字人方向的研究代码。
- 有两个容易漏的前置:视频编码库与某个状态空间模型组件,自检脚本就是查这些。
- 生成对素材质量敏感,参考图模糊会直接拉低结果。
- 涉及人物肖像,用他人素材必须取得授权。
核心亮点
- 支持音频、表情等多信号联合控制,生成更自然
- 基于扩散模型,视频质量与动态一致性高
- 端到端框架,无需复杂中间步骤,易于使用
不足之处
- 早期项目,文档和社区支持待观察
- 推理速度可能较慢,实时性要求高场景受限
适用场景
- 数字人主播视频生成
- 影视预演与虚拟角色制作
- 交互式虚拟助手形象驱动
替代项目
SadTalker、Wav2Lip、GeneFace
上一篇:SyncTalk
下一篇:wav2lip_288x288
同类项目推荐
Meuxe
开源
让AI伴侣拥有动漫形象,实时表情语音互动
A companion that lives on your desktop. Remembers you, talks back, and stays on your···
DIMO
开源
给任意3D物体一键生成多种自然运动,动画制作快人一步
[ICCV 2025 (Highlight)] DIMO: Diverse 3D Motion Generation for Arbitrary Objects
ditto-talkinghead
开源
音频驱动实时说话头像,运动空间扩散精准可控
[ACM MM 2025] Ditto: Motion-Space Diffusion for Controllable Realtime Talking Head S···
reflect3r
开源
单张照片+镜子,重建出完整 3D 立体模型
[3DV 2026] Reflect3r: Single-View 3D Stereo Reconstruction Aided by Mirror Reflectio···
Open-DiffusionGS
开源
单张图片秒变3D模型,一步到位无需多阶段优化
Baking Gaussian Splatting into Diffusion Denoiser for Fast and Scalable Single-stage···
TripoSG
开源
输入图片或文字,秒级生成高保真 3D 模型
TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models
GameFactory-3A
开源
一条命令生成 3A 游戏资产,从模型到视频全自动
A comprehensive open-source 3A game-generation skill and asset framework.
chat-with-nerf
开源
用大白话问一句,NeRF 场景自动带你去看
[ICRA 2024] Chat with NeRF enables users to interact with a NeRF model by typing in ···
robot-heads
开源
给 AI Agent 装个电视头,状态一眼看懂
Animated 3D robot heads for React: TV-headed bots with LED faces that show what your···
