Direct3D-S2

一句话文本/图片,秒级生成超大细节3D模型

Direct3D-S2 是一个面向超大规模 3D 内容生成的深度学习框架,核心创新在于空间稀疏注意力机制,解决了传统 3D 生成模型在体素或点云规模增大时计算复杂度急剧上升的瓶颈。它支持从文本或单张图像直接生成高分辨率、细节丰富的 3D 模型,无需复杂的多阶段流水线。项目提供了完整的训练和推理代码,基于 PyTorch 实现,并针对稀疏数据结构进行了优化,使得在消费级 GPU 上也能生成百万级体素的 3D 资产。该框架特别适合游戏、影视、XR 等需要快速产出高质量 3D 内容的场景,同时也为 3D 生成领域的研究者提供了一个高效、可扩展的基线。

开源 free 数字人3D
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1282
维护状态 低维护
是否开源
定价模式 free

项目数据

分类数字人3D
开发团队DreamTechAI
所属国家
定价模式free
价格说明开源项目,MIT许可证,可免费使用和部署。
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型3d-aigc,3d-generation,3d-models,3d-reconstruction,3d-representation,genai-3d,image-to-3d
GitHub 星标★ 1282
30天Star增速
HF 下载量
上线时间2025-05-23 00:00:00
最近更新2026-09-23 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

难度:进阶 约 20 分钟 部署方式:库/依赖 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(README 未注明具体版本,需自行确认)
  • NVIDIA CUDA GPU:512 分辨率至少 10GB 显存,1024 分辨率约 24GB
  • 可访问 Hugging Face 以拉取模型 wushuang98/Direct3D-S2
  • 已按仓库要求装好 PyTorch 等运行依赖(README 未给出安装命令)

安装与启动步骤

  1. 1克隆项目仓库

    把 Direct3D-S2 源码下载到本地,后续脚本放在该目录内运行,便于引用 direct3d_s2 包。

    git clone https://github.com/DreamTechAI/Direct3D-S2.git
    cd Direct3D-S2
  2. 2确认显卡显存

    README 明确说明:512 分辨率至少需 10GB 显存,1024 分辨率约需 24GB,显存不足请降到 512。

  3. 3编写推理脚本

    把 README 的示例代码保存为 infer.py,只能改图片路径,不要改模型名与 subfolder。

    from direct3d_s2.pipeline import Direct3DS2Pipeline
    pipeline = Direct3DS2Pipeline.from_pretrained(
      'wushuang98/Direct3D-S2', 
      subfolder="direct3d-s2-v-1-1"
    )
    pipeline.to("cuda:0")
    
    mesh = pipeline(
      'assets/test/13.png', 
      sdf_resolution=1024, # 512 or 1024
      remove_interior=True,
      remesh=False, # Switch to True if you need to reduce the number of triangles.
    )["mesh"]
    
    mesh.export('output.obj')
  4. 4执行推理生成

    在仓库根目录运行脚本,首次会从 Hugging Face 下载模型权重,需等待较长时间。

    python infer.py
  5. 5检查导出结果

    运行结束后当前目录会生成 output.obj,用 Blender 或 MeshLab 打开确认是有效网格。

关键配置

配置项必填说明示例
subfolder指定加载的模型版本目录,README 示例使用 v1.1(速度更快)direct3d-s2-v-1-1
sdf_resolution输出体素分辨率,只支持 512 或 1024,直接决定显存占用1024
remove_interior是否移除模型内部多余结构,示例中开启True
remesh是否重网格以减少三角面片数量,面片过多时改为 TrueFalse
device推理使用的设备,示例代码固定为 cuda:0cuda:0

如何确认成功

脚本无报错跑完,当前目录出现 output.obj,且用 3D 软件打开能看到完整网格即成功。

常见问题

Q:显存不够报 OOM 怎么办?

A:把 sdf_resolution 从 1024 降到 512,README 说明 512 只需约 10GB 显存;但官方不推荐 512,因其质量明显偏低。

Q:生成的面片太多怎么减少?

A:把 pipeline 参数 remesh 改为 True,README 注明需要减少三角面片数量时开启该选项。

Q:模型权重需要手动下载吗?

A:不需要,from_pretrained 会自动从 Hugging Face 拉取 wushuang98/Direct3D-S2 下 subfolder 指定的权重。

Q:支持文本生成 3D 吗?

A:README 给出的示例只演示了单张图片输入,示例代码里传入的是 assets/test/13.png。

注意事项

  • README 的 Installation 章节为空,未提供任何依赖安装命令,环境需自行准备,因此本教程置信度为 low。
  • 示例输入 assets/test/13.png 是仓库内测试图,实际使用时替换为自己的图片路径。
  • 512 分辨率只是 1024 模型的中间步骤,官方明确不推荐在该分辨率下生成最终模型。
  • 代码中设备写死为 cuda:0,多卡环境下需自行确认显卡序号。

核心亮点

  • 空间稀疏注意力机制,显著降低计算和显存开销,支持百亿体素规模生成
  • 支持文本和图像双模态输入,生成质量高,几何细节丰富
  • 代码结构清晰,基于 PyTorch,易于二次开发和集成

不足之处

  • 文档/社区待观察
  • 对显存要求仍较高,消费级显卡可能只能生成中等规模模型

适用场景

  • 游戏资产快速原型制作
  • 影视特效中的3D场景构建
  • XR/元宇宙内容生成

替代项目

3D-GPT、Point-E、Shap-E

项目介绍

Direct3D-S2 是数字人3D领域的开源项目,由 DreamTechAI 开发,2025 年首次发布。

在全站 12,961 个收录项目中,它的 GitHub 星标数(1,282)位列前 30%,在数字人3D分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-19。MIT许可证,可免费使用和部署。

它主要面向的使用场景是:游戏资产快速原型制作。同类可对比的替代方案包括 3D-GPT、Point-E、Shap-E。

上一篇:Hunyuan3D-2-WinPortable

下一篇:cube

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 273 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 778 2026-08-21