ardy

自回归扩散生成连贯可控的人体动作

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 132 🐛 待处理 13 👀 关注 16
GitHub ↗
GitHub 星标 ★ 1065
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源代码,免费使用

项目预览

ardy 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队nv-tlabs
定价模式🏷️完全免费
价格说明开源代码,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 1065
上线时间2026-07-08 00:00:00
代码更新2026-10-15
仓库体积21.9 MB
本站数据更新2026-11-12
维护状态较活跃
收录时间2026-11-12
浏览次数1

项目介绍

ardy 是 SIGGRAPH 2026 论文 ARDY 的官方实现,聚焦交互式人体动作生成这一数字人3D领域的关键环节。项目提出自回归扩散与混合表示相结合的方案:用自回归结构逐段生成动作序列,用扩散模型保证每段动作的自然度与多样性,再通过混合表示兼顾关节旋转、位置等不同动作表征的优势,从而在给定文本或交互条件下实时产出连贯、可控的人体动作。它解决的是长序列动作生成中连贯性差、响应延迟高、条件控制弱的问题,面向虚拟人驱动、游戏动画、人机交互等场景。仓库以 Python 实现,提供模型定义、训练与推理入口,可作为研究基线复现论文结果,也便于二次开发接入自有骨骼与动作数据。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-12 · 当前星标 ★ 1065

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 8 步

环境要求

  • Ubuntu Linux 22.04(官方主要测试环境,RTX 4090 + nvidia-driver-575)
  • Python 3.10 及以上(推荐 3.11)与 conda 或 venv
  • PyTorch >= 2.4,需与本机 CUDA 版本匹配
  • 可访问 Hugging Face 并已获得 meta-llama/Meta-Llama-3-8B-Instruct 访问权限的账号
  • 建议具备 NVIDIA GPU,用于模型推理

安装与启动步骤

  1. 1获取项目代码

    克隆官方仓库并进入项目根目录,后续安装命令都在该目录执行。

    git clone https://github.com/nv-tlabs/ardy.git
    cd ardy
  2. 2创建 Python 环境

    用 conda 新建 Python 3.11 环境并激活,避免与系统环境冲突。

    conda create -n ardy python=3.11 -y
    conda activate ardy
  3. 3先装 PyTorch

    必须按本机 CUDA 版本先安装 PyTorch(>=2.4),官方示例使用 cu126 源。

    pip install torch torchvision --index-url https://download.pytorch.org/whl/cu126
  4. 4安装 ARDY

    以可编辑模式安装项目本身并带上全部可选依赖,注意要在仓库根目录执行。

    pip install -e ".[all]"
  5. 5配置 HF 令牌

    文本编码器使用受限模型,需用有权限的账号登录;若无 hf 命令先装 huggingface_hub。

    pip install --upgrade huggingface_hub
    hf auth login
  6. 6启动并打开界面

    README 未给出界面启动命令,按仓库说明启动后浏览器访问 http://localhost:2333。

  7. 7加载模型并播放

    在 Model 标签页选择 Model Directory 中的检查点并点击 Load Model,首次加载可能需数分钟。

  8. 8输入文本提示

    在 Prompt List 点预置提示,或在 Prompt Text 输入自定义文本后点 Update Text Prompt。

关键配置

配置项必填说明示例
Hugging Face token是用于下载受限的 Llama-3-8B-Instruct 文本编码器,可在命令行登录或写入缓存文件hf_xxxxxxxxxxxxxxxxxxxx
~/.cache/huggingface/token否不执行 hf auth login 时,可直接把令牌文本粘贴到该文件hf_xxxxxxxxxxxxxxxxxxxx
Model Directory否界面 Model 标签页的检查点下拉项,不选则加载默认检查点默认检查点
Motion file path否Generate 标签 Constraints 中指定数据集动作序列,供 z 键采样运动学约束/your/path/motion.npz

如何确认成功

浏览器打开 http://localhost:2333 能看到 3D 视口,加载检查点后按空格或点 Play 可播放动作。

常见问题

Q:首次加载模型很慢怎么办?

A:属正常现象,开启 TensorRT 编译时首次加载可能需要几分钟,耐心等待编译完成后再操作。

Q:提示无权访问文本编码器模型?

A:先在 Hugging Face 模型页申请 meta-llama/Meta-Llama-3-8B-Instruct 访问权限,通过后用该账号执行 hf auth login。

Q:提示找不到 hf 命令?

A:先执行 pip install --upgrade huggingface_hub 安装或升级 huggingface_hub,再运行 hf auth login。

Q:PyTorch 安装失败或版本不匹配?

A:按本机 CUDA 版本到 PyTorch 官网选择对应安装命令,README 中 cu126 仅为示例;需先装 PyTorch 再装 ARDY。

Q:界面怎么操作摄像机?

A:左键拖动旋转视角,右键拖动平移,滚轮缩放;按空格或点 Play 开始/暂停播放动作。

注意事项

  • 仓库主要在 Ubuntu 22.04、RTX 4090、nvidia-driver-575、Python 3.11 下测试,其他环境可能存在兼容问题。
  • 务必先安装与 CUDA 匹配的 PyTorch,再执行 pip install -e ".[all]",否则依赖解析可能出错。
  • README 节选未包含交互界面的启动命令,该步骤需以仓库完整文档为准,不要随意猜测入口脚本。
  • 项目采用 Apache 2.0 许可,模型权重与受限文本编码器需遵守各自的使用条款。

核心亮点

  • 自回归+扩散的混合架构,兼顾长序列连贯性与单帧动作自然度
  • 官方论文实现,含完整训练与推理代码,便于复现与做基线对比
  • 支持交互式条件生成,适合实时虚拟人驱动等动态场景

不足之处

  • 依赖论文级训练配置与较大算力,普通设备推理成本偏高
  • 交互式实时部署的工程优化与延迟数据尚不充分
  • 文档与社区生态处于早期,二次开发需自行摸索

适用场景

  • 虚拟人/数字人实时动作驱动
  • 游戏与影视动画的动作序列生成
  • 人机交互中的条件动作合成研究

替代项目

MDM、MotionDiffuse、HumanML3D

上一篇:my-office

下一篇:Awesome-Text-to-3D

同类项目推荐

LLMUnity 开源

在 Unity 里拖拽几下,就能让 NPC 开口聊大模型。

Create characters in Unity with LLMs!

★ 1736 2026-08-09
Paint3D 开源

给 3D 模型一键生成无光照纹理,告别烘焙阴影

[CVPR 2024] Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models, ···

★ 811 2026-08-09
HanaVerse 开源

让 Ollama 聊天变成和动漫少女面对面说话

HanaVerse is a interactive web UI for chatting with ollama with a lively 2D anime ch···

★ 72 2026-08-09
STAR 开源

输入文字,直接生成带骨骼动画的 4D 数字人,无需手动绑定

Official code for "STAR: Skeleton-aware Text-based 4D Avatar Generation with In-Netw···

★ 65 2026-08-09
mynah 开源

一张 GPU 自建实时数字人,语音驱动口型对话

Mynah — self-hosted realtime digital human. One GPU, full admin console, Apache-2.0···

★ 282 2026-10-26
shiyun 开源

把三千年的诗变成可漫游的星系,边逛边读诗

把中国三千年的诗放进一片可漫游的三维星系:每位诗人是一颗星,每首诗都有坐标,星与星之···

★ 281 2026-08-09
meshy-3d-agent 开源

让 AI 直接生成 3D 模型,无需写复杂 API 代码

AI agent skills for Meshy AI 3D generation platform

★ 108 2026-08-09
lanshu-create-ai-presenter-video 开源

脚本加照片,自动生成可验证的AI主持人视频

Provider-neutral Codex Skill for producing verified AI presenter videos from a scrip···

★ 2954 2026-08-22
MotionDiffuse 开源

输入一句话,AI自动生成逼真的3D人体动画

MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model

★ 987 2026-08-09