zero123

一张图,零训练,直接生成可旋转的3D模型

Zero-1-to-3(简称zero123)是一个基于稳定扩散(Stable Diffusion)的零样本单图转3D物体生成框架,由哥伦比亚大学等机构在ICCV 2023提出。它解决的核心问题是:如何仅凭一张2D图像,无需针对特定物体训练,就能生成该物体的多视角新视图,并进而重建出3D模型。其核心能力包括:利用大规模预训练扩散模型学习物体的几何与外观先验,实现零样本的新视角合成;支持通过相机视角变化(如旋转、平移)控制生成视角;提供从单图到3D点云或网格的完整重建流程。项目代码基于Python和PyTorch,提供了推理和训练脚本,并支持与Stable Diffusion等模型集成。该工作为图像转3D领域提供了高效、通用的基线方案,显著降低了3D内容生成的门槛。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 3064
维护状态 低维护
是否开源
定价模式 free

项目数据

分类图像生成
开发团队cvlab-columbia
所属国家
定价模式free
价格说明开源项目,MIT许可证,可免费使用和部署。官网提供在线演示,无付费版本。
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型image-to-3d,novel-view-synthesis,single-view-reconstruction,stable-diffusion,zero-shot
GitHub 星标★ 3064
30天Star增速
HF 下载量
上线时间2023-03-17 00:00:00
最近更新2026-09-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:高级 约 30 分钟 部署方式:本地安装 6 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目基于 Python 与 PyTorch 开发)
  • 带 CUDA 的 GPU 环境,用于运行 Stable Diffusion 系扩散模型
  • 可访问 Hugging Face 以获取 zero123 预训练权重
  • 足够的磁盘空间存放模型权重(含 Zero123-XL 等大体积文件)

安装与启动步骤

  1. 1克隆项目仓库

    从 GitHub 拉取 zero123 源码到本地,README 中给出了官方仓库地址。

    git clone https://github.com/cvlab-columbia/zero123.git
  2. 2进入项目目录

    切换到刚克隆下来的仓库目录,后续操作都在此目录内进行。

    cd zero123
  3. 3准备 Python 运行环境

    README 未给出依赖清单与安装命令,请按仓库内实际文件(如 requirements 或环境配置文件)自行准备 PyTorch 等依赖。

  4. 4下载预训练权重

    README 的 Weights 链接指向 Hugging Face 的 cvlab/zero123-weights 仓库,进入该页面按提示下载权重文件并放到本地目录。

  5. 5可选:在线体验 Demo

    不想本地部署时,可直接打开官方 Hugging Face Space 单图生成多视角图,无需安装任何依赖。

  6. 6按官方 Usage 运行

    README 的 Usage 章节给出实际运行方式,请以仓库中最新的 Usage 与 3D Reconstruction(SJC)章节说明为准。

如何确认成功

README 节选未给出启动命令与端口,无法本地验证;可打开官方 Hugging Face Live Demo 生成多视角图确认效果。

常见问题

Q:没有 GPU 可以运行吗?

A:README 未说明硬件门槛。项目基于 Stable Diffusion 扩散模型,通常需要 GPU;若仅想体验效果,可先用官方 Hugging Face Live Demo 在线生成。

Q:预训练权重在哪里下载?

A:README 的 Weights 链接指向 https://huggingface.co/cvlab/zero123-weights/tree/main ,进入该页面下载即可;此外 README 还单独给出了 Zero123-XL 权重链接。

Q:怎么做单图到 3D 的重建?

A:README 目录中包含 3D Reconstruction(SJC)章节,按该章节说明执行;也可参考 README 中提到的 Threestudio 集成方案。

Q:Zero123-XL 和原版有什么区别?

A:README 的 Updates 中提到发布了 Zero123-XL 权重以及配套的 Objaverse-XL 数据集,属于后续更大规模版本,具体用法以官方仓库说明为准。

注意事项

  • 本次 README 节选中 Usage 章节内容为空,未提供任何安装与推理命令,因此步骤仅包含可从 README 推断的通用准备动作,confidence 为 low。
  • 实际安装、推理与训练命令请以 GitHub 仓库最新 README 及脚本说明为准,避免照搬过期信息。
  • 权重文件体积较大,下载前请确认磁盘空间与网络环境,Hugging Face 访问不畅时可考虑镜像。
  • 官方提供在线 Live Demo,建议先用它验证效果,再决定是否本地部署。

核心亮点

  • 创新性地将大规模扩散模型用于零样本新视角合成,泛化能力强
  • 支持显式相机参数控制视角,生成结果可控性好
  • 提供从单图到3D重建的完整流程,实用性强

不足之处

  • 生成3D模型的几何细节可能不够精细,复杂结构易失真
  • 对输入图像背景和物体姿态敏感,需预处理
  • 文档/社区待观察

适用场景

  • 电商产品展示:快速生成商品多角度视图
  • 游戏/影视资产制作:从概念图生成3D模型
  • AR/VR内容创建:单张照片生成可交互3D对象

替代项目

DreamFusion、SyncDreamer、One-2-3-45

项目介绍

zero123 是数字人3D领域的开源项目,由 cvlab-columbia 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(3,064)位列前 30%,在数字人3D分类的 272 个项目里位列前 7%。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-21。MIT许可证,可免费使用和部署。官网提供在线演示,无付费版本。从国内网络环境看,访问稳定性一般,建议自备网络条件。

它主要面向的使用场景是:电商产品展示:快速生成商品多角度视图。同类可对比的替代方案包括 DreamFusion、SyncDreamer、One-2-3-45。

上一篇:photoshot

下一篇:StableGen

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 273 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 778 2026-08-21