DreamCraft3D

上传一张图,秒变可交互的高质量 3D 模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 359 🐛 待处理 35 👀 关注 120
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 3042
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署使用。

项目预览

DreamCraft3D 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队deepseek-ai
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型3d-creation,3d-generation,aigc,diffusion-models,generative-model,image-to-3d
GitHub 星标★ 3042
上线时间2023-10-23 00:00:00
代码更新2025-04-22
仓库体积67.8 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

DreamCraft3D 是一个由 ICLR 2024 收录的官方实现项目,专注于从单张 2D 图像生成高质量 3D 模型。它采用分层生成策略,结合引导扩散先验(Bootstrapped Diffusion Prior)与 3D 表示学习,解决传统 3D 生成中几何细节不足和纹理模糊的问题。其核心能力包括:通过扩散模型引导几何优化,提升形状保真度;利用视图合成和纹理细化,生成多视角一致的逼真外观;支持从任意输入图像(如照片、艺术画)重建可交互的 3D 资产。项目基于 Python 实现,依赖 PyTorch 等深度学习框架,提供训练和推理代码,适合研究者和开发者用于数字人、游戏资产、AR/VR 内容创作等场景。尽管处于早期阶段,但已在社区获得广泛关注,是 3D 生成领域的重要参考实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3042

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 60 分钟 部署方式:本地安装 5 步

环境要求

  • NVIDIA 显卡,显存至少 20GB
  • 已安装 CUDA 驱动与工具包
  • Python >= 3.8
  • 建议使用 virtualenv 虚拟环境(可选)

安装与启动步骤

  1. 1创建虚拟环境

    README 建议(可选)创建并激活虚拟环境,隔离依赖;已有可用 Python 环境可跳过。

    python3 -m virtualenv venv
    . venv/bin/activate
  2. 2安装 threestudio

    README 明确要求按 docs/installation.md 安装 threestudio,包含 Docker 安装方式;已装好可跳过,README 未给出具体命令。

  3. 3预处理输入图像

    对输入图片去背景并生成深度图与法线图,--recenter 会把主体重新居中,结果供后续阶段训练使用。

    python preprocess_image.py /path/to/image.png --recenter
  4. 4设置生成参数

    README 示例用 shell 变量保存文本提示词与预处理后的 RGBA 图像路径;完整的多阶段训练命令在 README 中被截断,需参考官方仓库补全。

    prompt="a brightly colored mushroom growing on a log"
    image_path="load/images/mushroom_log_rgba.png"
  5. 5导出3D模型

    用默认 mesh-exporter 配置导出 obj+mtl;请把 config 与 ckpt 路径替换为实际训练产物目录,gpu 按需修改。

    python launch.py --config path/to/trial/dir/configs/parsed.yaml --export --gpu 0 resume=path/to/trial/dir/ckpts/last.ckpt system.exporter_type=mesh-exporter

关键配置

配置项必填说明示例
prompt是生成用的文本提示词,指导扩散模型优化a brightly colored mushroom growing on a log
image_path是预处理后输入图像路径,需为带透明通道的 RGBA 图load/images/mushroom_log_rgba.png
system.exporter_type是导出器类型,mesh-exporter 默认导出 obj+mtlmesh-exporter
resume是从训练产生的检查点恢复并导出模型path/to/trial/dir/ckpts/last.ckpt
--gpu否指定使用的 GPU 编号,多卡时按需修改0

如何确认成功

导出命令执行完毕后,查看对应 trial 目录,生成 .obj 与 .mtl 文件即表示成功。

常见问题

Q:显存不够 20GB 能跑吗?

A:README 明确要求至少 20GB 显存的 NVIDIA 显卡,低于该值原生训练无法正常进行;可改用官方提供的 Replicate 在线 demo 体验。

Q:已经装过 threestudio 还要重装吗?

A:不需要,README 说明该部分与原版 threestudio 完全相同,已有环境直接跳过,安装细节见 docs/installation.md。

Q:深度图和法线图怎么来?

A:运行 preprocess_image.py 处理输入图像即可,加 --recenter 让主体居中;输出的预处理结果用于后续阶段。

Q:多阶段训练的命令是什么?

A:README 只给出了 prompt 与 image_path 两个变量示例,训练命令部分被截断,需到官方仓库或 docs 中查阅完整命令。

注意事项

  • README 未给出 git clone 与 pip 安装的具体命令,安装须参考仓库内 docs/installation.md。
  • 生成/训练耗时较长,强烈建议使用显存充足的 NVIDIA GPU 并确认 CUDA 可用。
  • 导出步骤中的 config、ckpt 路径为占位示例,务必替换为自己实际的 trial 目录。

核心亮点

  • 采用分层生成策略,几何和纹理细节优于单阶段方法
  • 官方 ICLR 2024 实现,算法有学术背书,代码结构清晰
  • 支持从任意单图生成 3D,降低内容创作门槛

不足之处

  • 训练和推理资源需求高,普通 GPU 难以运行
  • 文档和社区支持待观察,依赖项配置复杂

适用场景

  • 数字人快速建模,从照片生成虚拟形象
  • 游戏或影视资产制作,快速生成 3D 道具
  • AR/VR 内容开发,将 2D 概念图转为可交互模型

替代项目

Zero-1-to-3、One-2-3-45、SyncDreamer

上一篇:Hunyuan3D-2.1

下一篇:HunyuanWorld-1.0

同类项目推荐

banana-levelup 开源

输入文字,秒变可 360° 查看的 AI 角色头像

An interactive web demo for AI avatar creation — generate characters from a text pr···

★ 53 2026-08-09
tet-splatting 开源

用四面体溅射技术,快速生成高质量3D模型。

[NeurIPS 2024 Spotlight] Tetrahedron Splatting for 3D Generation

★ 180 2026-08-09
Crystal.TTVS 开源

让语音合成拥有3D表情,实时生成会说话的数字人

Crystal TTVS engine is a real-time audio-visual Multilingual speech synthesizer with···

★ 88 2026-08-09
HunyuanWorld-1.0 开源

一句话或一张图,生成可探索交互的3D世界

Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels wit···

★ 2963 2026-08-09
Meow-Generator 开源

一键生成独一无二的 3D 猫咪,萌翻你的项目

A playful procedural 3D kitten generator built with Three.js.

★ 122 2026-08-09
AlphaAvatar 开源

像搭积木一样拼出能听会说有记忆的实时数字人

An Omni Real-Time Assistant for Everyone

★ 821 2026-09-16
SyncTalk 开源

让数字人说话口型精准同步,告别嘴型对不上的尴尬

[CVPR 2024] This is the official source for our paper "SyncTalk: The Devil is in the···

★ 1626 2026-08-09
Duix-Avatar 开源

断网也能克隆数字人,视频自己生成不花云钱。

Truly open-source AI avatar(digital human) toolkit for offline video generation and ···

★ 16261 2026-08-09
RodinHD 开源

单张照片秒变高保真3D数字人,可驱动可动画

[ECCV 2024] RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models

★ 218 2026-08-09