
Pixal3D
一张图秒变对齐原图的3D模型
Pixal3D 是一个面向单图生成高质量 3D 资产的开源项目,论文被 SIGGRAPH 2026 收录。它要解决的问题是:传统图生 3D 方法常出现几何与输入图像不对齐、纹理模糊、多视角不一致等毛病,导致生成的模型难以直接用于下游。Pixal3D 的核心思路是像素对齐(Pixel-Aligned),让三维表示与输入图像的像素建立紧密对应关系,从而在几何形状、表面纹理和视角一致性上更忠实于原图。项目以 Python 实现,提供从单张图片到 3D 模型的生成能力,适合需要快速把二维素材转成三维资产的场景。当前 GitHub 星标约 2289,属于成长中的新项目,代码与模型权重是主要交付物,可作为研究复现和工程集成的起点。
项目数据
使用教程
环境要求
- 带 CUDA 的 NVIDIA GPU(natten 需匹配 CUDA 架构)
- Python 环境(项目为 Python 实现)
- 已按 TRELLIS.2 官方指南搭好基础环境
- Git,用于克隆 Pixal3D 仓库
安装与启动步骤
-
1克隆项目仓库
把 Pixal3D 源码拉到本地,后续命令都在仓库根目录执行;确保磁盘有足够空间。
git clone https://github.com/TencentARC/Pixal3D.git cd Pixal3D -
2配置 TRELLIS.2 基础环境
Pixal3D 依赖 TRELLIS.2 作为基础环境,请先按官方安装指南完成配置,再继续后续步骤。
-
3安装额外依赖
在已激活的 TRELLIS.2 环境中,于项目根目录安装 Pixal3D 自己的 requirements 依赖。
pip install -r requirements.txt -
4安装 natten
需把 xx 换成你机器的 CUDA 架构与编译线程数;不替换会安装失败,示例为 8.6 与 8。
NATTEN_CUDA_ARCH="8.6" NATTEN_N_WORKERS=8 pip install natten==0.21.0 --no-build-isolation -
5安装 utils3d
从官方发布的 wheel 地址安装 utils3d 0.0.2,需联网下载,装完即可用于数据处理。
pip install https://github.com/LDYang694/Storages/releases/download/20260430/utils3d-0.0.2-py3-none-any.whl -
6运行训练脚本
用 JSON 配置、输出目录和 data_dir JSON 字符串启动;data_dir 所需键随阶段不同而变化。
python train.py --config--output_dir --data_dir ' '
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--config | 是 | 训练使用的配置 JSON 文件路径 | |
--output_dir | 是 | 训练结果与中间产物的输出目录 | |
--data_dir | 是 | JSON 字符串,描述数据集布局与各阶段所需键 | '{"base":"/your/data","shape_latent":"/your/data/latent","re |
NATTEN_CUDA_ARCH | 是 | 安装 natten 时的 CUDA 架构,需按本机填写 | 8.6 |
NATTEN_N_WORKERS | 否 | 编译 natten 的并行 worker 数 | 8 |
如何确认成功
运行 train.py 后能正常解析配置、读取 data_dir 数据并开始训练且无报错,即环境搭建成功。
常见问题
Q:TRELLIS.2 基础环境必须装吗?
A:必须。README 明确要求先按 TRELLIS.2 的安装指南搭好基础环境,再安装 Pixal3D 的额外依赖。
Q:natten 安装失败怎么办?
A:检查 NATTEN_CUDA_ARCH 是否与本机 GPU 的 CUDA 架构一致,NATTEN_N_WORKERS 按机器核数调整,二者不能保留 xx。
Q:可以用 requirements-hfdemo.txt 吗?
A:该文件只用于 Hugging Face Spaces 的 H 系列 GPU 架构 demo,其他架构可能不兼容,本地部署请用 requirements.txt。
Q:--data_dir 要写哪些键?
A:按阶段区分:Sparse Structure 需 base/ss_latent/render_cond;Shape 需 base/shape_latent/render_cond;Texture 需 base/shape_latent/pbr_latent/render_cond。
注意事项
- natten 安装命令中的 xx 必须替换为实际架构与 worker 数,README 未给出固定值。
- 模型权重与在线 Demo 在 Hugging Face 的 TencentARC/Pixal3D 提供。
- README 只给出了训练入口 train.py,未提供独立推理或导出 3D 资产的命令。
- 项目页与 arXiv 论文可查阅方法细节与更多示例。
核心亮点
- 像素对齐机制让生成几何与输入图像高度贴合,减少错位和漂移
- SIGGRAPH 2026 论文背书,方法有学术验证,适合复现与研究
- Python 实现,便于接入现有图生 3D 或数字人内容管线
不足之处
- 项目较新,文档与预训练权重、推理脚本的完整度待观察
- 社区生态和第三方集成案例还少,长期维护节奏不确定
适用场景
- 电商商品单图快速生成可预览的 3D 展示模型
- 游戏或数字人制作中把概念图转成基础 3D 资产
- 学术研究中复现像素对齐图生 3D 方法并做对比实验
替代项目
TripoSR、InstantMesh
项目介绍
上一篇:MHR
下一篇:ComfyUI-Trellis2
同类项目推荐
A3D
开源
在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成
3D x AI hybrid editor, built with three.js
cube
开源
用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作
Roblox Foundation Model for 3D Intelligence
AG3D
开源
用2D图片直接生成3D虚拟人,告别昂贵扫描
Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···
GameFactory-3A
开源
一条命令生成 3A 游戏资产,从模型到视频全自动
A comprehensive open-source 3A game-generation skill and asset framework.