DreamCraft3D

上传一张图,秒变可交互的高质量 3D 模型

DreamCraft3D 是一个由 ICLR 2024 收录的官方实现项目,专注于从单张 2D 图像生成高质量 3D 模型。它采用分层生成策略,结合引导扩散先验(Bootstrapped Diffusion Prior)与 3D 表示学习,解决传统 3D 生成中几何细节不足和纹理模糊的问题。其核心能力包括:通过扩散模型引导几何优化,提升形状保真度;利用视图合成和纹理细化,生成多视角一致的逼真外观;支持从任意输入图像(如照片、艺术画)重建可交互的 3D 资产。项目基于 Python 实现,依赖 PyTorch 等深度学习框架,提供训练和推理代码,适合研究者和开发者用于数字人、游戏资产、AR/VR 内容创作等场景。尽管处于早期阶段,但已在社区获得广泛关注,是 3D 生成领域的重要参考实现。

开源 free 数字人3D
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 3029
维护状态 低维护
是否开源
定价模式 free

项目数据

分类数字人3D
开发团队deepseek-ai
所属国家
定价模式free
价格说明开源项目,MIT许可证,完全免费,需自行部署使用。
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型3d-creation,3d-generation,aigc,diffusion-models,generative-model,image-to-3d
GitHub 星标★ 3029
30天Star增速
HF 下载量
上线时间2023-10-23 00:00:00
最近更新2026-09-19 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:高级 约 60 分钟 部署方式:本地安装 5 步

环境要求

  • NVIDIA 显卡,显存至少 20GB
  • 已安装 CUDA 驱动与工具包
  • Python >= 3.8
  • 建议使用 virtualenv 虚拟环境(可选)

安装与启动步骤

  1. 1创建虚拟环境

    README 建议(可选)创建并激活虚拟环境,隔离依赖;已有可用 Python 环境可跳过。

    python3 -m virtualenv venv
    . venv/bin/activate
  2. 2安装 threestudio

    README 明确要求按 docs/installation.md 安装 threestudio,包含 Docker 安装方式;已装好可跳过,README 未给出具体命令。

  3. 3预处理输入图像

    对输入图片去背景并生成深度图与法线图,--recenter 会把主体重新居中,结果供后续阶段训练使用。

    python preprocess_image.py /path/to/image.png --recenter
  4. 4设置生成参数

    README 示例用 shell 变量保存文本提示词与预处理后的 RGBA 图像路径;完整的多阶段训练命令在 README 中被截断,需参考官方仓库补全。

    prompt="a brightly colored mushroom growing on a log"
    image_path="load/images/mushroom_log_rgba.png"
  5. 5导出3D模型

    用默认 mesh-exporter 配置导出 obj+mtl;请把 config 与 ckpt 路径替换为实际训练产物目录,gpu 按需修改。

    python launch.py --config path/to/trial/dir/configs/parsed.yaml --export --gpu 0 resume=path/to/trial/dir/ckpts/last.ckpt system.exporter_type=mesh-exporter

关键配置

配置项必填说明示例
prompt生成用的文本提示词,指导扩散模型优化a brightly colored mushroom growing on a log
image_path预处理后输入图像路径,需为带透明通道的 RGBA 图load/images/mushroom_log_rgba.png
system.exporter_type导出器类型,mesh-exporter 默认导出 obj+mtlmesh-exporter
resume从训练产生的检查点恢复并导出模型path/to/trial/dir/ckpts/last.ckpt
--gpu指定使用的 GPU 编号,多卡时按需修改0

如何确认成功

导出命令执行完毕后,查看对应 trial 目录,生成 .obj 与 .mtl 文件即表示成功。

常见问题

Q:显存不够 20GB 能跑吗?

A:README 明确要求至少 20GB 显存的 NVIDIA 显卡,低于该值原生训练无法正常进行;可改用官方提供的 Replicate 在线 demo 体验。

Q:已经装过 threestudio 还要重装吗?

A:不需要,README 说明该部分与原版 threestudio 完全相同,已有环境直接跳过,安装细节见 docs/installation.md。

Q:深度图和法线图怎么来?

A:运行 preprocess_image.py 处理输入图像即可,加 --recenter 让主体居中;输出的预处理结果用于后续阶段。

Q:多阶段训练的命令是什么?

A:README 只给出了 prompt 与 image_path 两个变量示例,训练命令部分被截断,需到官方仓库或 docs 中查阅完整命令。

注意事项

  • README 未给出 git clone 与 pip 安装的具体命令,安装须参考仓库内 docs/installation.md。
  • 生成/训练耗时较长,强烈建议使用显存充足的 NVIDIA GPU 并确认 CUDA 可用。
  • 导出步骤中的 config、ckpt 路径为占位示例,务必替换为自己实际的 trial 目录。

核心亮点

  • 采用分层生成策略,几何和纹理细节优于单阶段方法
  • 官方 ICLR 2024 实现,算法有学术背书,代码结构清晰
  • 支持从任意单图生成 3D,降低内容创作门槛

不足之处

  • 训练和推理资源需求高,普通 GPU 难以运行
  • 文档和社区支持待观察,依赖项配置复杂

适用场景

  • 数字人快速建模,从照片生成虚拟形象
  • 游戏或影视资产制作,快速生成 3D 道具
  • AR/VR 内容开发,将 2D 概念图转为可交互模型

替代项目

Zero-1-to-3、One-2-3-45、SyncDreamer

项目介绍

DreamCraft3D 是数字人3D领域的开源项目,由 deepseek-ai 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(3,029)位列前 30%,在数字人3D分类的 272 个项目里位列前 7%。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-19。MIT许可证,完全免费,需自行部署使用。

它主要面向的使用场景是:数字人快速建模,从照片生成虚拟形象。同类可对比的替代方案包括 Zero-1-to-3、One-2-3-45、SyncDreamer。

上一篇:Hunyuan3D-2.1

下一篇:HunyuanWorld-1.0

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 273 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 778 2026-08-21