AvatarCLIP

输入一句话,自动生成并驱动3D虚拟人

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 99 🐛 待处理 19 👀 关注 18
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1104
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,完全免费

项目预览

AvatarCLIP 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队hongfz16
定价模式🏷️完全免费
价格说明开源项目,本地部署,完全免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型3d-generation,motion-generation,nerf
GitHub 星标★ 1104
上线时间2022-05-03 00:00:00
代码更新2023-02-15
仓库体积21.9 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

AvatarCLIP 是 SIGGRAPH 2022 的论文项目,实现零样本文本驱动的 3D 虚拟人生成与动画。它解决了传统 3D 虚拟人制作依赖手工建模、绑定和动画,流程复杂且成本高的问题。核心能力包括:通过 CLIP 模型将自然语言描述映射到 3D 形状和纹理,自动生成符合文本描述的 3D 头像;利用预训练的动作生成模型,根据文本指令驱动头像产生对应动作。项目采用模块化设计,结合 NeRF 和 SMPL 模型,支持从文本直接生成完整可动画的 3D 虚拟人,无需任何训练数据。其创新在于将 CLIP 的跨模态理解能力与 3D 表示结合,实现零样本生成,极大降低了虚拟人制作门槛。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1104

使用教程

难度:高级 约 40 分钟 部署方式:本地安装 7 步

环境要求

  • Anaconda(README 推荐用 conda 管理 Python 环境)
  • Python 3.7 环境
  • 支持 CUDA 10.1 的 NVIDIA GPU(PyTorch 1.7.0 + cudatoolkit 10.1)
  • 需自行编译安装 neural_renderer 并打三行补丁
  • 需安装 osmesa 库以支持动作可视化的离屏渲染

安装与启动步骤

  1. 1克隆项目仓库

    把 AvatarCLIP 源码下载到本地,并进入项目根目录,后续所有命令都在该目录执行。

    git clone https://github.com/hongfz16/AvatarCLIP.git
    cd AvatarCLIP
  2. 2创建并激活环境

    用 conda 新建名为 AvatarCLIP 的 Python 3.7 环境,创建完成后激活它。

    conda create -n AvatarCLIP python=3.7
    conda activate AvatarCLIP
  3. 3安装 PyTorch

    按 README 指定版本安装 PyTorch 1.7.0、torchvision 0.8.0、torchaudio 0.7.0 与 cudatoolkit 10.1。

    conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=10.1 -c pytorch
  4. 4安装项目依赖

    在已激活的 AvatarCLIP 环境中,根据 requirements.txt 安装其余 Python 依赖包。

    pip install -r requirements.txt
  5. 5编译 neural_renderer

    按 neural_renderer 官方仓库说明完成编译安装,并在 perspective.py 第 19 行后加入三行置零代码修复渲染问题。

  6. 6安装 osmesa

    安装 osmesa 库,用于支持动作可视化所需的离屏渲染。

    conda install -c menpo osmesa
  7. 7运行姿态生成示例

    用 VPoserCodebook 方法为“running”生成姿势,注意在 AvatarCLIP/AvatarAnimate 相关目录下执行。

    python main.py --conf confs/pose_ablation/vposer_codebook/run.conf

关键配置

配置项必填说明示例
--conf是指定运行所用的配置文件路径,决定采用哪种方法与目标动作。confs/pose_ablation/vposer_codebook/run.conf

如何确认成功

命令执行无报错,且结果保存在 AvatarCLIP/AvatarAnimate/exp/pose_ablation/vposer_codebook/run 目录中。

常见问题

Q:为什么要手动修改 neural_renderer 的 perspective.py?

A:README 说明需在第 19 行后加入 x[z<=0]=0、y[z<=0]=0、z[z<=0]=0,修复相机后方物体也被渲染的问题,属于官方给出的快速修复。

Q:怎么生成“running”这个动作的姿势?

A:使用 VPoserCodebook 方法,执行 python main.py --conf confs/pose_ablation/vposer_codebook/run.conf。

Q:生成结果在哪里查看?

A:结果存放在 AvatarCLIP/AvatarAnimate/exp/pose_ablation/vposer_codebook/run 目录下。

Q:安装过程有官方推荐的环境管理方式吗?

A:README 推荐使用 anaconda 管理 Python 环境,并强调给出的安装命令仅供参考。

注意事项

  • 修改后的 neural_renderer 渲染过程不可微,用到其他项目时需谨慎。
  • PyTorch、CUDA 版本需与 README 给出的一致(1.7.0 / 10.1),否则可能编译或运行失败。
  • neural_renderer 的具体编译命令 README 未给出,需按其官方仓库说明操作。
  • 示例运行命令 README 中未明确写出所在子目录,实际使用时请确认路径。

核心亮点

  • 零样本文本驱动,无需训练数据即可生成3D头像
  • 同时支持形状、纹理生成和动作动画,一体化流程
  • 基于CLIP语义理解,文本描述到3D效果对齐度高

不足之处

  • 生成质量受限于CLIP语义粒度,细节可能粗糙
  • 依赖预训练模型,自定义风格能力有限
  • 文档/社区待观察

适用场景

  • 游戏和影视中的快速角色原型设计
  • 虚拟社交和元宇宙中的个性化头像创建
  • 动画制作中的快速预可视化

替代项目

DreamFusion、Text2Mesh、CLIP-Forge

上一篇:cube

下一篇:3DTopia-XL

同类项目推荐

utsuwa 开源

打造专属 AI 伴侣,陪你聊天一起成长

Utsuwa is an open-source alternative to Grok Companion. This is a platform where you···

★ 144 2026-08-09
worldexplorer 开源

单图生成可自由行走的 3D 世界,告别固定视角

[SIGGRAPH Asia 2025] WorldExplorer: Towards Generating Fully Navigable 3D Scenes

★ 198 2026-08-09
GaussianCity 开源

一句话生成无边界3D城市,实时漫游

The official implementation of "GaussianCity: Generative Gaussian Splatting for Unbo···

★ 342 2026-08-09
anima-x 开源

让静态 3D 模型动起来,一键迁移视频动作

Official Implementation of [AnimaX: Animating the Inanimate in 3D with Joint Video-P···

★ 300 2026-08-09
Hunyuan3D-2-WinPortable 开源

Windows上双击即用的腾讯混元3D生成工具

Portable package for running Hunyuan3D 2.0/2.1 on Windows. | 混元 3D 2.0/2.1 整合包

★ 1375 2026-08-09
ReconViaGen 开源

从稀疏视图一键生成高精度3D模型

(ICLR2026) ReconViaGen: Towards Accurate Multi-view 3D Object Reconstruction via Gen···

★ 665 2026-08-09
solidcraft 开源

纯 Rust 参数化 CAD,桌面网页都能建模,还能被 AI 自动驱动

SolidCraft: an open-source parametric 3D CAD application built in pure Rust. Desktop···

★ 15337 2026-10-20
AIAvatar 开源

造一个自己的数字分身,张嘴就能实时唠嗑。

AI Avatar: Build Your Personal Digital Avatar. AI数字人,实时交互数字人,可音视频同步···

★ 217 2026-08-09
StableProjectorz 开源

在 Unity 里用 AI 一键生成 3D 模型和纹理,省时省力

A free tool for making 3D and textures via StableDiffusion AI.

★ 131 2026-08-09