Pixal3D

一张图秒变对齐原图的3D模型

Pixal3D 是一个面向单图生成高质量 3D 资产的开源项目,论文被 SIGGRAPH 2026 收录。它要解决的问题是:传统图生 3D 方法常出现几何与输入图像不对齐、纹理模糊、多视角不一致等毛病,导致生成的模型难以直接用于下游。Pixal3D 的核心思路是像素对齐(Pixel-Aligned),让三维表示与输入图像的像素建立紧密对应关系,从而在几何形状、表面纹理和视角一致性上更忠实于原图。项目以 Python 实现,提供从单张图片到 3D 模型的生成能力,适合需要快速把二维素材转成三维资产的场景。当前 GitHub 星标约 2289,属于成长中的新项目,代码与模型权重是主要交付物,可作为研究复现和工程集成的起点。

开源 free 数字人3D
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 2308
维护状态 较活跃
是否开源
定价模式 free

项目数据

分类数字人3D
开发团队TencentARC
所属国家
定价模式free
价格说明学术项目,代码开源免费
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型
GitHub 星标★ 2308
30天Star增速
HF 下载量
上线时间2026-05-10 00:00:00
最近更新2026-09-16 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-14
浏览次数2

使用教程

难度:高级 约 60 分钟 部署方式:本地安装 6 步

环境要求

  • 带 CUDA 的 NVIDIA GPU(natten 需匹配 CUDA 架构)
  • Python 环境(项目为 Python 实现)
  • 已按 TRELLIS.2 官方指南搭好基础环境
  • Git,用于克隆 Pixal3D 仓库

安装与启动步骤

  1. 1克隆项目仓库

    把 Pixal3D 源码拉到本地,后续命令都在仓库根目录执行;确保磁盘有足够空间。

    git clone https://github.com/TencentARC/Pixal3D.git
    cd Pixal3D
  2. 2配置 TRELLIS.2 基础环境

    Pixal3D 依赖 TRELLIS.2 作为基础环境,请先按官方安装指南完成配置,再继续后续步骤。

  3. 3安装额外依赖

    在已激活的 TRELLIS.2 环境中,于项目根目录安装 Pixal3D 自己的 requirements 依赖。

    pip install -r requirements.txt
  4. 4安装 natten

    需把 xx 换成你机器的 CUDA 架构与编译线程数;不替换会安装失败,示例为 8.6 与 8。

    NATTEN_CUDA_ARCH="8.6" NATTEN_N_WORKERS=8 pip install natten==0.21.0 --no-build-isolation
  5. 5安装 utils3d

    从官方发布的 wheel 地址安装 utils3d 0.0.2,需联网下载,装完即可用于数据处理。

    pip install https://github.com/LDYang694/Storages/releases/download/20260430/utils3d-0.0.2-py3-none-any.whl
  6. 6运行训练脚本

    用 JSON 配置、输出目录和 data_dir JSON 字符串启动;data_dir 所需键随阶段不同而变化。

    python train.py 
      --config  
      --output_dir  
      --data_dir ''

关键配置

配置项必填说明示例
--config训练使用的配置 JSON 文件路径
--output_dir训练结果与中间产物的输出目录
--data_dirJSON 字符串,描述数据集布局与各阶段所需键'{"base":"/your/data","shape_latent":"/your/data/latent","re
NATTEN_CUDA_ARCH安装 natten 时的 CUDA 架构,需按本机填写8.6
NATTEN_N_WORKERS编译 natten 的并行 worker 数8

如何确认成功

运行 train.py 后能正常解析配置、读取 data_dir 数据并开始训练且无报错,即环境搭建成功。

常见问题

Q:TRELLIS.2 基础环境必须装吗?

A:必须。README 明确要求先按 TRELLIS.2 的安装指南搭好基础环境,再安装 Pixal3D 的额外依赖。

Q:natten 安装失败怎么办?

A:检查 NATTEN_CUDA_ARCH 是否与本机 GPU 的 CUDA 架构一致,NATTEN_N_WORKERS 按机器核数调整,二者不能保留 xx。

Q:可以用 requirements-hfdemo.txt 吗?

A:该文件只用于 Hugging Face Spaces 的 H 系列 GPU 架构 demo,其他架构可能不兼容,本地部署请用 requirements.txt。

Q:--data_dir 要写哪些键?

A:按阶段区分:Sparse Structure 需 base/ss_latent/render_cond;Shape 需 base/shape_latent/render_cond;Texture 需 base/shape_latent/pbr_latent/render_cond。

注意事项

  • natten 安装命令中的 xx 必须替换为实际架构与 worker 数,README 未给出固定值。
  • 模型权重与在线 Demo 在 Hugging Face 的 TencentARC/Pixal3D 提供。
  • README 只给出了训练入口 train.py,未提供独立推理或导出 3D 资产的命令。
  • 项目页与 arXiv 论文可查阅方法细节与更多示例。

核心亮点

  • 像素对齐机制让生成几何与输入图像高度贴合,减少错位和漂移
  • SIGGRAPH 2026 论文背书,方法有学术验证,适合复现与研究
  • Python 实现,便于接入现有图生 3D 或数字人内容管线

不足之处

  • 项目较新,文档与预训练权重、推理脚本的完整度待观察
  • 社区生态和第三方集成案例还少,长期维护节奏不确定

适用场景

  • 电商商品单图快速生成可预览的 3D 展示模型
  • 游戏或数字人制作中把概念图转成基础 3D 资产
  • 学术研究中复现像素对齐图生 3D 方法并做对比实验

替代项目

TripoSR、InstantMesh

项目介绍

Pixal3D 是一个数字人3D领域的开源项目,官方简介:[SIGGRAPH 2026] Pixal3D: Pixel-Aligned 3D Generation from Images。项目使用 Python 开发,在 GitHub 上获得 2289 星标。

上一篇:MHR

下一篇:ComfyUI-Trellis2

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1250 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 273 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 756 2026-08-21