Matrix-3D

一张图或一句话，生成可漫游的 3D 全景场景

开源 🏷️定价信息待确认 ✅ 目前可打开 视频生成 🍴 复刻 72 🐛 待处理 31 👀 关注 11
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 851
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

Matrix-3D 项目界面预览图
图片来源：项目官网

项目数据

分类视频生成
开发团队SkyworkAI
官网地址https://matrix-3d.github.io
GitHubhttps://github.com/SkyworkAI/Matrix-3D
定价模式🏷️定价信息待确认
价格说明官网为项目展示页，未提供在线体验或定价信息，需自行部署或查看仓库说明。
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言Python
技术栈/模型3d-generation,3d-reconstruction,3d-scene-generation,aigc,aigc3d,genie,genie3,graphics,image-to-3d,image-to-video,panorama-synthesis,scene-generation,text-to-3d,text-to-video,video-generation,world-models
GitHub 星标★ 851
上线时间2025-08-11 00:00:00
代码更新2025-11-25
仓库体积98.6 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

Matrix-3D 是一个从单张图片或文本提示生成大规模可探索 3D 场景的开源项目。它通过生成高质量的全景视频，让用户能够在虚拟 3D 空间中自由漫游。该项目解决了传统 3D 场景生成需要多视角输入、建模复杂、成本高昂的问题，只需一张图片或一句文字描述，即可快速构建沉浸式 3D 环境。核心能力包括：基于 Genie 3 的 3D 场景生成、全景视频合成、以及支持图像到 3D 和文本到 3D 的转换。技术栈涵盖 3D 重建、图形学、AIGC 等领域，目前处于早期阶段，但已具备完整的生成流程，适合用于虚拟现实、游戏开发、影视预演等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 851

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 60 分钟 部署方式：本地安装 4 步

环境要求

  • NVIDIA GPU 24G 显存以上
  • Python 3.10
  • CUDA 12.x

安装与启动步骤

  1. 1克隆带子模块

    3D 世界生成，子模块含渲染依赖。

    git clone --recursive https://github.com/SkyworkAI/Matrix-3D.git
cd Matrix-3D

  2. 2建环境并安装

    官方脚本会处理 torch 与扩展。

    conda create -n matrix3d python=3.10
conda activate matrix3d
./install.sh

  3. 3下权重

    脚本按清单拉 checkpoint。

    python code/download_checkpoints.py

  4. 4生成全景

    先出全景图，再转 3D 场景。

    python code/panoramic_image_generation.py --prompt "a quiet street at dusk"

如何确认成功

输出目录里有可交互查看的 3D 场景文件。

注意事项

  • 它做的是全向可探索世界，不是单物体重建。
  • 全景到 3D 有两档脚本，480p 版更快。

核心亮点

  • 单图或文本即可生成大规模 3D 场景，降低建模门槛
  • 输出高质量全景视频，支持自由视角探索
  • 基于 Genie 3 技术，生成效果在同类中较优

不足之处

  • 早期项目，文档和社区支持待观察
  • 生成速度可能较慢，对计算资源要求高

适用场景

  • VR/AR 内容快速原型制作
  • 游戏场景自动生成与关卡设计
  • 影视分镜预演与虚拟勘景

替代项目

Genie 3、3DSceneGen、Wonder3D

上一篇：ScaleDreamer

下一篇：Text2Video

同类项目推荐

MiniGPT-3D 开源

一张3090显卡，让大模型看懂3D点云并对话

[MM 2024] [Need only a 3090] MiniGPT-3D: Efficiently Aligning 3D Point Clouds with ···

★ 132 2026-08-09
Talking-Avatar 开源

懒得录口播？一句话让数字人替你出镜。

Talking Avatar: create video from plain text or audio file in minutes, support up t···

★ 16 2026-08-09
NeuralLift-360 开源

一张照片，转出 360° 可旋转的 3D 模型

[CVPR 2023, Highlight] "NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Obje···

★ 319 2026-08-09
tet-splatting 开源

用四面体溅射技术，快速生成高质量3D模型。

[NeurIPS 2024 Spotlight] Tetrahedron Splatting for 3D Generation

★ 180 2026-08-09
avatar-generator 开源

组合特征一键生成卡通头像组件

Personas, an avatar generator by Draftbit

★ 1312 2026-10-28
CyberVerse 开源

自建带记忆和数字人形象的实时语音AI代理

Self hosted, real-time digital human agent platform. Build voice-first AI agents wit···

★ 1926 2026-08-09
latent-pose-reenactment 开源

用一张照片驱动任意头部视频，生成逼真数字人动画

The authors' implementation of the "Neural Head Reenactment with Latent Pose Descrip···

★ 181 2026-08-09
opentalking 开源

私有部署的数字人框架，接上模型就能实时对话

OpenTalking: An industrial-grade open-source AI digital human framework that support···

★ 3335 2026-09-13