Holodeck

输入一句话，自动生成 3D 室内环境，助力具身 AI 研究。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 64 🐛 待处理 24 👀 关注 10
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 581
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，可免费使用和部署。

项目预览

Holodeck 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队allenai
官网地址https://yueyang1996.github.io/holodeck
GitHubhttps://github.com/allenai/Holodeck
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型3d-environment,ai2-thor,generative-ai,large-language-models,text-to-3d,unity
GitHub 星标★ 581
上线时间2023-12-08 00:00:00
代码更新2025-04-02
仓库体积115 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

Holodeck 是一个基于 CVPR 2024 论文的开源项目，旨在通过自然语言指令自动生成 3D 具身 AI 环境。它解决了传统 3D 环境构建耗时费力的问题，让用户只需输入如“带厨房和卧室的公寓”这样的描述，即可生成符合要求的室内场景。核心能力包括：利用大型语言模型（LLM）解析用户意图，从庞大的 3D 资产库中检索并布局物体，结合程序化生成和物理合理性检查，最终输出可交互的 3D 环境。项目支持生成多种室内类型，如住宅、办公室、商店等，并可与主流具身模拟器（如 Habitat）集成，用于训练和评估 AI 智能体。Holodeck 降低了 3D 环境生成的门槛，加速了具身智能研究。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 581

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 90 分钟 部署方式：本地GPU 5 步

环境要求

  • NVIDIA 显卡
  • Python 环境
  • 素材包

安装与启动步骤

  1. 1建环境

    按仓库指定版本装，三维仿真依赖较重。

    pip install -r requirements.txt

  2. 2下素材包

    资产要分几次下载，命令按文档里的顺序跑。

    python -m objathor.dataset.download

  3. 3验证仿真器

    先起一个空场景确认渲染正常。

  4. 4按语言生成场景

    给一句描述，让它摆出对应的房间与物件。

  5. 5接自己的智能体

    把观测与动作接口接出来，就能跑任务。

如何确认成功

给定一句房间描述后能生成符合描述的可交互三维场景，智能体能在其中完成一次导航动作

注意事项

  • 它是具身智能的仿真环境，不是三维建模工具。
  • 素材包体量大，磁盘要留足。
  • 生成场景的合理性依赖语言理解与资产库覆盖。
  • 渲染需要显卡，纯 CPU 跑不动。

核心亮点

  • 自然语言直接生成 3D 场景，大幅降低环境构建成本
  • 基于 CVPR 2024 论文，方法有学术支撑，设计严谨
  • 支持与 Habitat 等模拟器集成，可直接用于智能体训练

不足之处

  • 项目处于早期，文档和社区支持尚不完善
  • 生成的场景复杂度受限于 3D 资产库的覆盖范围

适用场景

  • 具身智能研究：快速生成多样化的室内环境用于训练机器人导航和操作
  • 游戏开发：根据文字描述快速搭建游戏场景原型
  • 虚拟现实：为 VR 应用自动生成定制化的室内空间

替代项目

ProcTHOR、ThreeDWorld、AI2-THOR

上一篇：MeshAnything

下一篇：BlenderLLM

同类项目推荐

SGAM_NeurIPS22 开源

一张图生成连贯3D世界，生成与映射同步搞定

[NeurIPS 2022] SGAM: Building a Virtual 3D World through Simultaneous Generation and···

★ 63 2026-08-09
claude-face 开源

80 万颗粒子拼一张脸，AI 开口跟你面对面。

Give your AI assistant a face — a WebGL particle talking-head (~800k dots) that spe···

★ 4 2026-08-09
GaussianCity 开源

一句话生成无边界3D城市，实时漫游

The official implementation of "GaussianCity: Generative Gaussian Splatting for Unbo···

★ 342 2026-08-09
MeshAnything 开源

一键将任意3D数据转为艺术家级网格，告别杂乱拓扑

[ICLR 2025] From anything to mesh like human artists. Official impl. of "MeshAnythin···

★ 2309 2026-08-09
ShapeGPT 开源

用一句话生成3D模型，让设计触手可及

ShapeGPT: 3D Shape Generation with A Unified Multi-modal Language Model, a unified a···

★ 102 2026-08-09
AniGen 开源

一句话生成带骨骼绑定的3D角色，开箱即用

[SIGGRAPH 2026] AniGen: Unified S^3 Fields for Animatable 3D Asset Generation

★ 550 2026-08-09
zero123 开源

一张图，零训练，直接生成可旋转的3D模型

Zero-1-to-3: Zero-shot One Image to 3D Object (ICCV 2023)

★ 3067 2026-08-09
GNM 开源

一键生成高精度参数化数字人头像，驱动表情与动画

An open ecosystem of parametric human models and perception stacks, starting with GN···

★ 1629 2026-08-09
location-based-AR-app 开源

用 Flutter 快速搭建带语音导航的 AR 定位应用

This Flutter project is an example for a location based AR app with navigation suppo···

★ 76 2026-08-09