
4DAnyone
上传一段普通视频,即可生成可自由观看的 4D 动态人物。
4DAnyone 是一个从单目视频生成动态 4D 人物的开源项目,由 SIGGRAPH Asia 2026 收录。它解决了从日常随意拍摄的单目视频中重建出可自由观看的 4D 人物模型这一难题。其核心能力包括:利用 4D 高斯泼溅技术高效表示动态场景,结合生成式 AI 模型补全视频中未观测到的身体部分和动态细节,从而输出具有真实感、可自由旋转视角的动态人物。项目提供了完整的训练和推理流程,支持自定义视频输入,生成结果可应用于虚拟现实、游戏、影视制作等领域。该项目的技术栈涉及 4D 高斯泼溅、生成式模型、视频世界模型等前沿方向,在 GitHub 上已获得 1260 星标,属于成长中的热门项目。
项目数据
使用教程
环境要求
- Linux 环境(README 命令基于 bash,含 conda)
- 已安装 Git,可克隆仓库与子模块
- 已安装 Conda,可创建 Python 3.11 环境
- NVIDIA GPU,峰值显存需低于 24 GB(RTX 4090 可运行)
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取 4DAnyone 源码,README 建议定期 git pull 获取最新改进。
git clone https://github.com/ant-research/4DAnyone.git -
2初始化子模块
进入项目目录并初始化 third_party/GVHMR 子模块,跳过会导致后续代码缺失。
cd 4DAnyone git submodule update --init third_party/GVHMR -
3创建 conda 环境
按 README 要求创建名为 4danyone 的环境,Python 版本必须为 3.11。
conda create -n 4danyone python=3.11 -y -
4激活环境
后续所有 pip 安装与脚本运行都需在该环境中执行。
conda activate 4danyone -
5安装 Python 依赖
按 requirements.txt 安装全部依赖,若需更快的推理可另装注意力后端。
pip install -r requirements.txt -
6下载模型与示例
首次使用会自动下载缺失模型;也可用脚本手动下载 SMPL-X、模型与示例数据。
python scripts/download_smplx.py python scripts/download_model.py python scripts/download_example.py
如何确认成功
README 未给出推理启动命令;可确认 conda 环境已激活、pip 安装无报错,且三个下载脚本能成功拉取模型与示例。
常见问题
Q:需要多大的显存才能跑?
A:README 说明峰值约 22 GB CUDA 显存,已降到 24 GB 以下,可在 RTX 4090 等消费级 GPU 上推理。
Q:推理速度大概多快?
A:单张 RTX 4090 上,121 帧视频平均约 27 秒;4DAnyone-Turbo 相比 Base 有 5.58 倍去噪加速。
Q:需要相机参数或固定机位吗?
A:不需要。README 明确说明既不需要输入相机参数,也不要求静态相机。
Q:必须安装 FlashAttention-3 或 SageAttention 吗?
A:不是必须的,属于可选加速项;安装后会被自动启用,可参考对应官方仓库安装。
Q:模型文件要手动下载吗?
A:不需要,缺失的模型和示例会在首次使用时自动下载;也可用提供的三个脚本手动下载。
注意事项
- README 只提供了安装步骤,未给出推理或训练的具体命令,需参考官方项目页与论文。
- git submodule update --init third_party/GVHMR 不可省略,否则缺少 GVHMR 子模块代码。
- 可选安装 FlashAttention-3 或 SageAttention 以加快推理,已安装的后端会被自动启用。
- 项目仍在迭代,README 建议定期执行 git pull 获取最新改进。
核心亮点
- 单目视频即可生成 4D 人物,无需昂贵的多视角采集设备
- 采用 4D 高斯泼溅技术,动态场景渲染质量高且速度快
- 结合生成式模型补全未观测区域,人物完整度好
不足之处
- 训练和推理对 GPU 显存要求较高,普通消费级显卡可能难以运行
- 文档/社区待观察
适用场景
- 游戏角色快速建模,从视频生成可动画的 3D 人物
- 影视特效制作,将实拍视频转换为可自由调度的 4D 资产
- 虚拟现实/元宇宙社交,创建个性化动态虚拟化身
替代项目
Human4D、4D-Humans、GaussianAvatars
项目介绍
上一篇:MOVA
同类项目推荐
MoneyPrinterTurbo
开源
输入一句话,高清短视频自动出炉,文案配音全包了
利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···
seedance-2.0-api
开源
快速上手字节Seedance 2.0,文本/图片一键生成视频
Seedance 2.0 API — text-to-video and image-to-video examples
openscreen
开源
免费无水印录屏做演示,替代 Screen Studio
Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···
auto-subs
开源
在剪辑软件里直接生成字幕,省去导出导入的麻烦
On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···