Make-It-3D

环境要求

• 带 NVIDIA GPU 的 Linux 环境，需匹配 CUDA 11.3（README 使用 cu113 版 PyTorch）
• 已安装 Python 与 pip，并能编译 CUDA 扩展（tiny-cuda-nn、raymarching、pytorch3d）
• 已安装 Git，且能正常访问 GitHub 与 HuggingFace
• 已获取项目代码目录，requirements.txt 与 raymarching 子目录在其中

安装与启动步骤

1. 1安装PyTorch基础环境

   按 README 指定版本安装 CUDA 11.3 对应的 PyTorch、torchvision、torchaudio，版本必须保持一致。

   pip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio===0.10.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html

   复制

2. 2安装核心扩展依赖

   从 GitHub 源码安装 tiny-cuda-nn、CLIP、diffusers、huggingface_hub、pytorch3d 与 contextual_loss，编译耗时较长。

   pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch
   pip install git+https://github.com/openai/CLIP.git
   pip install git+https://github.com/huggingface/diffusers.git
   pip install git+https://github.com/huggingface/huggingface_hub.git
   pip install git+https://github.com/facebookresearch/pytorch3d.git
   pip install git+https://github.com/S-aiueo32/contextual_loss_pytorch.git

   复制

3. 3安装其余依赖

   在项目根目录执行 requirements.txt 安装，并编译安装仓库内的 raymarching 模块。

   pip install -r requirements.txt
   pip install ./raymarching

   复制

4. 4准备DPT深度模型

   克隆官方 DPT 仓库用于单目深度估计，并创建 dpt_weights 目录存放预训练权重。

   git clone https://github.com/isl-org/DPT.git
   mkdir dpt_weights

   复制

5. 5下载DPT权重

   下载 dpt_hybrid 预训练权重文件，放到刚创建的 dpt_weights 目录下。

   wget https://github.com/intel-isl/DPT/releases/download/1_0/dpt_hybrid-midas-501f0c75.pt -P dpt_weights

   复制

6. 6准备SAM与BLIP2

   README 要求使用 SAM 生成前景掩码、BLIP2 生成文本描述，需按各自官方仓库自行拉取模型。

7. 7登录HuggingFace

   Stable Diffusion 2.0 需授权访问，先在 HuggingFace 生成 token，再用命令行登录。

   huggingface-cli login

   复制

8. 8指定文本描述

   若不想跑 BLIP2 生成描述，可在运行时用 --text 直接给文本，能大幅减少耗时。

关键配置

如何确认成功

依次执行安装命令均无报错，dpt_weights 目录内已存在 dpt_hybrid 权重文件，huggingface-cli login 显示登录成功。README 本节未给出推理运行命令，请以仓库脚本为准。

常见问题

注意事项

• README 未提供推理/训练脚本的具体运行命令，实际使用请查看仓库内脚本文件。
• SAM 与 BLIP2 只给出官方仓库链接，未给出安装与权重下载命令，需自行按官方说明准备。
• 从 git+ 源码安装编译耗时长且依赖 CUDA 工具链，建议预留充足时间与显存。
• pytorch3d、tiny-cuda-nn 编译对 CUDA 与 PyTorch 版本匹配要求严格，版本不符易安装失败。