Pixal3D

一张图秒变对齐原图的3D模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 250 🐛 待处理 27 👀 关注 25
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 2578
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 学术项目,代码开源免费

项目预览

Pixal3D 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队TencentARC
定价模式🏷️完全免费
价格说明学术项目,代码开源免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 2578
上线时间2026-05-10 00:00:00
代码更新2026-09-01
仓库体积82.4 MB
本站数据更新2026-11-03
维护状态维护中
收录时间2026-09-14
浏览次数3

项目介绍

Pixal3D 是一个面向单图生成高质量 3D 资产的开源项目,论文被 SIGGRAPH 2026 收录。它要解决的问题是:传统图生 3D 方法常出现几何与输入图像不对齐、纹理模糊、多视角不一致等毛病,导致生成的模型难以直接用于下游。Pixal3D 的核心思路是像素对齐(Pixel-Aligned),让三维表示与输入图像的像素建立紧密对应关系,从而在几何形状、表面纹理和视角一致性上更忠实于原图。项目以 Python 实现,提供从单张图片到 3D 模型的生成能力,适合需要快速把二维素材转成三维资产的场景。当前 GitHub 星标约 2289,属于成长中的新项目,代码与模型权重是主要交付物,可作为研究复现和工程集成的起点。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 2578

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 60 分钟 部署方式:本地安装 6 步

环境要求

  • 带 CUDA 的 NVIDIA GPU(natten 需匹配 CUDA 架构)
  • Python 环境(项目为 Python 实现)
  • 已按 TRELLIS.2 官方指南搭好基础环境
  • Git,用于克隆 Pixal3D 仓库

安装与启动步骤

  1. 1克隆项目仓库

    把 Pixal3D 源码拉到本地,后续命令都在仓库根目录执行;确保磁盘有足够空间。

    git clone https://github.com/TencentARC/Pixal3D.git
    cd Pixal3D
  2. 2配置 TRELLIS.2 基础环境

    Pixal3D 依赖 TRELLIS.2 作为基础环境,请先按官方安装指南完成配置,再继续后续步骤。

  3. 3安装额外依赖

    在已激活的 TRELLIS.2 环境中,于项目根目录安装 Pixal3D 自己的 requirements 依赖。

    pip install -r requirements.txt
  4. 4安装 natten

    需把 xx 换成你机器的 CUDA 架构与编译线程数;不替换会安装失败,示例为 8.6 与 8。

    NATTEN_CUDA_ARCH="8.6" NATTEN_N_WORKERS=8 pip install natten==0.21.0 --no-build-isolation
  5. 5安装 utils3d

    从官方发布的 wheel 地址安装 utils3d 0.0.2,需联网下载,装完即可用于数据处理。

    pip install https://github.com/LDYang694/Storages/releases/download/20260430/utils3d-0.0.2-py3-none-any.whl
  6. 6运行训练脚本

    用 JSON 配置、输出目录和 data_dir JSON 字符串启动;data_dir 所需键随阶段不同而变化。

    python train.py \
      --config <CONFIG_JSON> \
      --output_dir <OUTPUT_DIR> \
      --data_dir '<DATA_DIR_JSON>'

关键配置

配置项必填说明示例
--config是训练使用的配置 JSON 文件路径<CONFIG_JSON>
--output_dir是训练结果与中间产物的输出目录<OUTPUT_DIR>
--data_dir是JSON 字符串,描述数据集布局与各阶段所需键'{"base":"/your/data","shape_latent":"/your/data/latent","re
NATTEN_CUDA_ARCH是安装 natten 时的 CUDA 架构,需按本机填写8.6
NATTEN_N_WORKERS否编译 natten 的并行 worker 数8

如何确认成功

运行 train.py 后能正常解析配置、读取 data_dir 数据并开始训练且无报错,即环境搭建成功。

常见问题

Q:TRELLIS.2 基础环境必须装吗?

A:必须。README 明确要求先按 TRELLIS.2 的安装指南搭好基础环境,再安装 Pixal3D 的额外依赖。

Q:natten 安装失败怎么办?

A:检查 NATTEN_CUDA_ARCH 是否与本机 GPU 的 CUDA 架构一致,NATTEN_N_WORKERS 按机器核数调整,二者不能保留 xx。

Q:可以用 requirements-hfdemo.txt 吗?

A:该文件只用于 Hugging Face Spaces 的 H 系列 GPU 架构 demo,其他架构可能不兼容,本地部署请用 requirements.txt。

Q:--data_dir 要写哪些键?

A:按阶段区分:Sparse Structure 需 base/ss_latent/render_cond;Shape 需 base/shape_latent/render_cond;Texture 需 base/shape_latent/pbr_latent/render_cond。

注意事项

  • natten 安装命令中的 xx 必须替换为实际架构与 worker 数,README 未给出固定值。
  • 模型权重与在线 Demo 在 Hugging Face 的 TencentARC/Pixal3D 提供。
  • README 只给出了训练入口 train.py,未提供独立推理或导出 3D 资产的命令。
  • 项目页与 arXiv 论文可查阅方法细节与更多示例。

核心亮点

  • 像素对齐机制让生成几何与输入图像高度贴合,减少错位和漂移
  • SIGGRAPH 2026 论文背书,方法有学术验证,适合复现与研究
  • Python 实现,便于接入现有图生 3D 或数字人内容管线

不足之处

  • 项目较新,文档与预训练权重、推理脚本的完整度待观察
  • 社区生态和第三方集成案例还少,长期维护节奏不确定

适用场景

  • 电商商品单图快速生成可预览的 3D 展示模型
  • 游戏或数字人制作中把概念图转成基础 3D 资产
  • 学术研究中复现像素对齐图生 3D 方法并做对比实验

替代项目

TripoSR、InstantMesh

上一篇:MHR

下一篇:ComfyUI-Trellis2

同类项目推荐

VideoChat 开源

3秒低延迟,自定义形象音色,快速搭建你的实时数字人。

实时交互数字人,可自定义形象与音色,支持音色克隆,对话延迟低至3s。Real-time voice in···

★ 1332 2026-08-09
location-based-AR-app 开源

用 Flutter 快速搭建带语音导航的 AR 定位应用

This Flutter project is an example for a location based AR app with navigation suppo···

★ 76 2026-08-09
avtr-1 开源

让 3D 数字人听懂你并实时回应

AVTR-1: Avatars that listen back

★ 535 2026-10-14
ai-office 开源

走进 3D 办公室,AI 同事工作开会全程现场直击

Explore a 3D AI office where agents work, walk, talk, and meet in a React and Three.···

★ 1 2026-08-09
Krbn 开源

把 3D 模型一键转成铅笔线稿 SVG,技术图示更清晰

A web engine for pencil-style rendering of 3D scenes to SVG — exact silhouettes, hi···

★ 248 2026-08-09
shiyun 开源

把三千年的诗变成可漫游的星系,边逛边读诗

把中国三千年的诗放进一片可漫游的三维星系:每位诗人是一颗星,每首诗都有坐标,星与星之···

★ 280 2026-08-09
DiffPoseTalk 开源

输入语音,一键生成风格化3D面部动画与头部姿态

DiffPoseTalk: Speech-Driven Stylistic 3D Facial Animation and Head Pose Generation v···

★ 365 2026-08-09
img2threejs 开源

看图片,自动生成可动画的 Three.js 模型代码

Rebuild the object in a reference image as a code-only, procedural, quality-gated, a···

★ 20219 2026-08-09