AvatarCLIP 是数字人3D领域的开源项目,由 hongfz16 开发,2022 年首次发布。
在全站 13,090 个收录项目中,它的 GitHub 星标数(1,100)位列前 30%,在数字人3D分类中处于中上游。
项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-07-31。本地部署,完全免费。
它主要面向的使用场景是:游戏和影视中的快速角色原型设计。同类可对比的替代方案包括 DreamFusion、Text2Mesh、CLIP-Forge。
输入一句话,自动生成并驱动3D虚拟人
AvatarCLIP 是 SIGGRAPH 2022 的论文项目,实现零样本文本驱动的 3D 虚拟人生成与动画。它解决了传统 3D 虚拟人制作依赖手工建模、绑定和动画,流程复杂且成本高的问题。核心能力包括:通过 CLIP 模型将自然语言描述映射到 3D 形状和纹理,自动生成符合文本描述的 3D 头像;利用预训练的动作生成模型,根据文本指令驱动头像产生对应动作。项目采用模块化设计,结合 NeRF 和 SMPL 模型,支持从文本直接生成完整可动画的 3D 虚拟人,无需任何训练数据。其创新在于将 CLIP 的跨模态理解能力与 3D 表示结合,实现零样本生成,极大降低了虚拟人制作门槛。
1克隆项目仓库
把 AvatarCLIP 源码下载到本地,并进入项目根目录,后续所有命令都在该目录执行。
git clone https://github.com/hongfz16/AvatarCLIP.git
cd AvatarCLIP2创建并激活环境
用 conda 新建名为 AvatarCLIP 的 Python 3.7 环境,创建完成后激活它。
conda create -n AvatarCLIP python=3.7
conda activate AvatarCLIP3安装 PyTorch
按 README 指定版本安装 PyTorch 1.7.0、torchvision 0.8.0、torchaudio 0.7.0 与 cudatoolkit 10.1。
conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=10.1 -c pytorch4安装项目依赖
在已激活的 AvatarCLIP 环境中,根据 requirements.txt 安装其余 Python 依赖包。
pip install -r requirements.txt5编译 neural_renderer
按 neural_renderer 官方仓库说明完成编译安装,并在 perspective.py 第 19 行后加入三行置零代码修复渲染问题。
6安装 osmesa
安装 osmesa 库,用于支持动作可视化所需的离屏渲染。
conda install -c menpo osmesa7运行姿态生成示例
用 VPoserCodebook 方法为“running”生成姿势,注意在 AvatarCLIP/AvatarAnimate 相关目录下执行。
python main.py --conf confs/pose_ablation/vposer_codebook/run.conf| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--conf | 是 | 指定运行所用的配置文件路径,决定采用哪种方法与目标动作。 | confs/pose_ablation/vposer_codebook/run.conf |
命令执行无报错,且结果保存在 AvatarCLIP/AvatarAnimate/exp/pose_ablation/vposer_codebook/run 目录中。
Q:为什么要手动修改 neural_renderer 的 perspective.py?
A:README 说明需在第 19 行后加入 x[z<=0]=0、y[z<=0]=0、z[z<=0]=0,修复相机后方物体也被渲染的问题,属于官方给出的快速修复。
Q:怎么生成“running”这个动作的姿势?
A:使用 VPoserCodebook 方法,执行 python main.py --conf confs/pose_ablation/vposer_codebook/run.conf。
Q:生成结果在哪里查看?
A:结果存放在 AvatarCLIP/AvatarAnimate/exp/pose_ablation/vposer_codebook/run 目录下。
Q:安装过程有官方推荐的环境管理方式吗?
A:README 推荐使用 anaconda 管理 Python 环境,并强调给出的安装命令仅供参考。
DreamFusion、Text2Mesh、CLIP-Forge
AvatarCLIP 是数字人3D领域的开源项目,由 hongfz16 开发,2022 年首次发布。
在全站 13,090 个收录项目中,它的 GitHub 星标数(1,100)位列前 30%,在数字人3D分类中处于中上游。
项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-07-31。本地部署,完全免费。
它主要面向的使用场景是:游戏和影视中的快速角色原型设计。同类可对比的替代方案包括 DreamFusion、Text2Mesh、CLIP-Forge。
上一篇:cube
下一篇:3DTopia-XL
A3D
开源
在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成
3D x AI hybrid editor, built with three.js
cube
开源
用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作
Roblox Foundation Model for 3D Intelligence
AG3D
开源
用2D图片直接生成3D虚拟人,告别昂贵扫描
Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···
GameFactory-3A
开源
一条命令生成 3A 游戏资产,从模型到视频全自动
A comprehensive open-source 3A game-generation skill and asset framework.