UniGoal

让机器人零训练看懂世界,直接找目标

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 16 🐛 待处理 35 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 374
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

UniGoal 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队bagh2178
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型3d-scene-graph,cvpr2025,embodied-ai,image-goal-navigation,instruction-following,large-language-models,matterport3d,navigation,object-goal-navigation
GitHub 星标★ 374
上线时间2025-02-27 00:00:00
代码更新2025-09-16
仓库体积30.9 MB
本站数据更新2026-11-11
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

UniGoal 是一个面向通用零样本目标导向导航的框架,发表于 CVPR 2025。它解决的是智能体在未知环境中根据自然语言指令或目标类别进行导航的问题,无需针对特定场景或目标进行训练。其核心能力包括:利用大规模预训练视觉-语言模型(如 CLIP)构建开放词汇的目标表示,结合拓扑地图和记忆机制实现跨场景的泛化;支持从 RGB-D 或纯 RGB 输入中提取语义信息,并通过强化学习或规划策略生成导航动作。UniGoal 在多个基准数据集(如 Habitat-Matterport 3D)上展示了优于现有零样本方法的性能,旨在推动具身智能体在真实世界中实现灵活、通用的导航能力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 374

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 120 分钟 部署方式:本地 GPU 4 步

环境要求

  • Linux + NVIDIA GPU
  • Python 3.8
  • 场景数据集(另下)

安装与启动步骤

  1. 1建环境

    锁 Python 3.8,仿真器只有老版本能装

    conda create -n unigoal python==3.8
  2. 2装仿真器

    走 conda 的专用频道,pip 装不上

    conda install habitat-sim==0.2.3 -c conda-forge -c aihabitat
  3. 3装视觉依赖

    检测与匹配几个库都要编译,最耗时的一段

    pip install git+https://github.com/facebookresearch/detectron2.git
  4. 4跑一个目标类型

    先跑实例图目标,再试文本目标

    python main.py --goal_type ins-image

如何确认成功

在自带场景里跑完一条导航回合,日志打印成功率与路径长度,可视化里能看到轨迹。

注意事项

  • 具身导航的研究代码,做零样本目标导航,不是可部署的机器人程序。
  • 仿真器与视觉库都要编译,环境搭建占掉大半时间。
  • 场景数据单独下载,体积大且要按脚本预处理。
  • 两种目标类型脚本不同,跑之前先确认数据准备到哪一步。
  • 论文指标与真实机器人差距很大,别直接外推。

核心亮点

  • 无需针对新场景或目标重新训练,开箱即用
  • 利用 CLIP 等大模型,语义理解远超传统方法
  • 在 Habitat 等标准基准上达到 SOTA 零样本效果

不足之处

  • 依赖预训练视觉语言模型,对算力要求较高
  • 文档/社区待观察

适用场景

  • 家庭服务机器人按指令找物体
  • 无人机在陌生环境执行搜索任务
  • 自动驾驶车辆理解开放道路目标

替代项目

CoW (Context-aware Waypoints)、ZSON (Zero-Shot Object Navigation)、SemExp (Semantic Exploration)

上一篇:4KAgent

下一篇:SG-Nav

同类项目推荐

SimdPaddleOCR 开源

纯C#跑PP-OCRv6,SIMD加速,多平台离线文字识别

纯 C# PP-OCRv6 推理库:多平台手写 Kernel / GEMM 等算子、超高性能、低内存需求、超高准···

★ 545 2026-09-19
visionworkbench 开源

NASA 出品的 C++ 视觉工具箱,做高精度图像配准与三维重建

The NASA Vision Workbench is a general purpose image processing and computer vision ···

★ 504 2026-09-18
PaddleOCR 开源

把图片和 PDF 变成 AI 能用的结构化文本数据

Turn any PDF or image document into structured data for your AI. A powerful, lightwe···

★ 92574 2026-08-09
Awesome-MLLM-Segmentation 开源

一页看懂 MLLM 做图像视频分割的全部代表论文

A curated list of publications on image and video segmentation leveraging Multimodal···

★ 239 2026-09-15
foundational_fsod 开源

用视觉语言模型让少样本检测更准,小数据也能快速上手

This repository contains the implementation for the paper "Revisiting Few Shot Objec···

★ 92 2026-08-09
manga-image-translator 开源

一键翻译漫画图片文字,自动抹除替换,阅读无国界

Translate manga/image 一键翻译各类图片内文字 https://cotrans.touhou.ai/ https://grea···

★ 10586 2026-08-10
react-mindee-js 开源

React 里几行代码接入文档识别,前端直接出结构化结果

Front-End Computer Vision SDK for React

★ 183 2026-10-06
neverclick 开源

用键盘加本地视觉识别,替代鼠标点按操作

Keyboard-driven mouse control using local computer vision.

★ 493 2026-09-18
PaddleOCR-ncnn-CPP 开源

用 ncnn 跑 PaddleOCR 的纯 C++ 离线文字识别方案

C++ implementations of PP-OCRv3/4/5/6 using ncnn for inference.

★ 111 2026-11-08