SG-Nav

给机器人装上'3D地图+大脑',零训练就能找东西

SG-Nav 是一个面向机器人导航的零样本目标定位框架,核心解决大型语言模型(LLM)在未知环境中无法直接理解3D场景结构的问题。它通过在线构建3D场景图(Scene Graph),将空间层级信息(如物体、区域、房间)转化为LLM可理解的提示(Prompt),从而引导机器人高效搜索目标物体,无需任何预训练或微调。系统包含场景图构建模块和基于LLM的决策模块,支持实时更新与重规划。该工作发表于NeurIPS 2024,提供了完整的代码、模型权重和仿真环境接口,适用于室内移动机器人、服务机器人和具身智能研究。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 353
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队bagh2178
所属国家
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型3d-scene-graph,embodied-ai,large-language-models,matterport3d,neurips-2024,object-goal-navigation
GitHub 星标★ 353
30天Star增速
HF 下载量
上线时间2024-10-06 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

核心亮点

  • 零样本无需微调,直接利用LLM常识推理,泛化到新物体和新环境
  • 在线构建3D场景图,比传统2D地图提供更丰富的空间语义信息
  • 提供完整仿真环境(Habitat)和真实机器人部署代码,复现门槛低

不足之处

  • 依赖LLM推理速度,实时性可能受限,在低算力设备上部署有挑战
  • 场景图构建质量受视觉感知模型影响,对遮挡和动态物体鲁棒性待验证

适用场景

  • 家庭服务机器人:让机器人根据自然语言指令找到'客厅的遥控器'
  • 仓储物流:在未知货架环境中定位指定商品
  • 具身智能研究:作为LLM+3D感知结合的基线方法

替代项目

CoW (Context-aware World Model)、ESC (Exploration with Semantic Context)、ZSON (Zero-Shot Object Navigation)

项目介绍

SG-Nav 是计算机视觉领域的开源项目,由 bagh2178 开发,2024 年首次发布。

它收录于计算机视觉分类,该分类目前共有 446 个项目,GitHub 星标数为 352。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-20。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:家庭服务机器人:让机器人根据自然语言指令找到'客厅的遥控器'。同类可对比的替代方案包括 CoW (Context-aware World Model)、ESC (Exploration with Semantic Context)、ZSON (Ze…。

上一篇:UniGoal

下一篇:Awesome_Mamba

同类项目推荐

modlens 开源

给纯文本编码代理装上眼睛,粘贴图片即刻获得结构化视觉证据。

The first vision plugin for DeepSeek Harness, and the vision bridge for every text-o···

★ 4019 2026-08-19
opencv 开源

开箱即用的视觉算法库,搞定图像视频处理与识别

Open Source Computer Vision Library

★ 90930 2026-08-10
OpenCVTutorials 开源

中文 OpenCV 教程,从入门到实战,边看边跑代码

OpenCV-Python4.1 中文文档

★ 1430 2026-08-20
DEIMv2 开源

用DINOv3做实时检测,又快又准,直接落地。

[DEIMv2] Real Time Object Detection Meets DINOv3

★ 2046 2026-08-14