AvatarCLIP

输入一句话,自动生成并驱动3D虚拟人

AvatarCLIP 是 SIGGRAPH 2022 的论文项目,实现零样本文本驱动的 3D 虚拟人生成与动画。它解决了传统 3D 虚拟人制作依赖手工建模、绑定和动画,流程复杂且成本高的问题。核心能力包括:通过 CLIP 模型将自然语言描述映射到 3D 形状和纹理,自动生成符合文本描述的 3D 头像;利用预训练的动作生成模型,根据文本指令驱动头像产生对应动作。项目采用模块化设计,结合 NeRF 和 SMPL 模型,支持从文本直接生成完整可动画的 3D 虚拟人,无需任何训练数据。其创新在于将 CLIP 的跨模态理解能力与 3D 表示结合,实现零样本生成,极大降低了虚拟人制作门槛。

开源 free 数字人3D
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1100
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类数字人3D
开发团队hongfz16
所属国家
定价模式free
价格说明开源项目,本地部署,完全免费
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型3d-generation,motion-generation,nerf
GitHub 星标★ 1100
30天Star增速
HF 下载量
上线时间2022-05-03 00:00:00
最近更新2026-07-31 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:高级 约 40 分钟 部署方式:本地安装 7 步

环境要求

  • Anaconda(README 推荐用 conda 管理 Python 环境)
  • Python 3.7 环境
  • 支持 CUDA 10.1 的 NVIDIA GPU(PyTorch 1.7.0 + cudatoolkit 10.1)
  • 需自行编译安装 neural_renderer 并打三行补丁
  • 需安装 osmesa 库以支持动作可视化的离屏渲染

安装与启动步骤

  1. 1克隆项目仓库

    把 AvatarCLIP 源码下载到本地,并进入项目根目录,后续所有命令都在该目录执行。

    git clone https://github.com/hongfz16/AvatarCLIP.git
    cd AvatarCLIP
  2. 2创建并激活环境

    用 conda 新建名为 AvatarCLIP 的 Python 3.7 环境,创建完成后激活它。

    conda create -n AvatarCLIP python=3.7
    conda activate AvatarCLIP
  3. 3安装 PyTorch

    按 README 指定版本安装 PyTorch 1.7.0、torchvision 0.8.0、torchaudio 0.7.0 与 cudatoolkit 10.1。

    conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=10.1 -c pytorch
  4. 4安装项目依赖

    在已激活的 AvatarCLIP 环境中,根据 requirements.txt 安装其余 Python 依赖包。

    pip install -r requirements.txt
  5. 5编译 neural_renderer

    按 neural_renderer 官方仓库说明完成编译安装,并在 perspective.py 第 19 行后加入三行置零代码修复渲染问题。

  6. 6安装 osmesa

    安装 osmesa 库,用于支持动作可视化所需的离屏渲染。

    conda install -c menpo osmesa
  7. 7运行姿态生成示例

    用 VPoserCodebook 方法为“running”生成姿势,注意在 AvatarCLIP/AvatarAnimate 相关目录下执行。

    python main.py --conf confs/pose_ablation/vposer_codebook/run.conf

关键配置

配置项必填说明示例
--conf是指定运行所用的配置文件路径,决定采用哪种方法与目标动作。confs/pose_ablation/vposer_codebook/run.conf

如何确认成功

命令执行无报错,且结果保存在 AvatarCLIP/AvatarAnimate/exp/pose_ablation/vposer_codebook/run 目录中。

常见问题

Q:为什么要手动修改 neural_renderer 的 perspective.py?

A:README 说明需在第 19 行后加入 x[z<=0]=0、y[z<=0]=0、z[z<=0]=0,修复相机后方物体也被渲染的问题,属于官方给出的快速修复。

Q:怎么生成“running”这个动作的姿势?

A:使用 VPoserCodebook 方法,执行 python main.py --conf confs/pose_ablation/vposer_codebook/run.conf。

Q:生成结果在哪里查看?

A:结果存放在 AvatarCLIP/AvatarAnimate/exp/pose_ablation/vposer_codebook/run 目录下。

Q:安装过程有官方推荐的环境管理方式吗?

A:README 推荐使用 anaconda 管理 Python 环境,并强调给出的安装命令仅供参考。

注意事项

  • 修改后的 neural_renderer 渲染过程不可微,用到其他项目时需谨慎。
  • PyTorch、CUDA 版本需与 README 给出的一致(1.7.0 / 10.1),否则可能编译或运行失败。
  • neural_renderer 的具体编译命令 README 未给出,需按其官方仓库说明操作。
  • 示例运行命令 README 中未明确写出所在子目录,实际使用时请确认路径。

核心亮点

  • 零样本文本驱动,无需训练数据即可生成3D头像
  • 同时支持形状、纹理生成和动作动画,一体化流程
  • 基于CLIP语义理解,文本描述到3D效果对齐度高

不足之处

  • 生成质量受限于CLIP语义粒度,细节可能粗糙
  • 依赖预训练模型,自定义风格能力有限
  • 文档/社区待观察

适用场景

  • 游戏和影视中的快速角色原型设计
  • 虚拟社交和元宇宙中的个性化头像创建
  • 动画制作中的快速预可视化

替代项目

DreamFusion、Text2Mesh、CLIP-Forge

项目介绍

AvatarCLIP 是数字人3D领域的开源项目,由 hongfz16 开发,2022 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(1,100)位列前 30%,在数字人3D分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-07-31。本地部署,完全免费。

它主要面向的使用场景是:游戏和影视中的快速角色原型设计。同类可对比的替代方案包括 DreamFusion、Text2Mesh、CLIP-Forge。

上一篇:cube

下一篇:3DTopia-XL

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 272 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 798 2026-08-21