项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 374
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Linux + NVIDIA GPU
- Python 3.8
- 场景数据集(另下)
安装与启动步骤
-
1建环境
锁 Python 3.8,仿真器只有老版本能装
conda create -n unigoal python==3.8 -
2装仿真器
走 conda 的专用频道,pip 装不上
conda install habitat-sim==0.2.3 -c conda-forge -c aihabitat -
3装视觉依赖
检测与匹配几个库都要编译,最耗时的一段
pip install git+https://github.com/facebookresearch/detectron2.git -
4跑一个目标类型
先跑实例图目标,再试文本目标
python main.py --goal_type ins-image
如何确认成功
在自带场景里跑完一条导航回合,日志打印成功率与路径长度,可视化里能看到轨迹。
注意事项
- 具身导航的研究代码,做零样本目标导航,不是可部署的机器人程序。
- 仿真器与视觉库都要编译,环境搭建占掉大半时间。
- 场景数据单独下载,体积大且要按脚本预处理。
- 两种目标类型脚本不同,跑之前先确认数据准备到哪一步。
- 论文指标与真实机器人差距很大,别直接外推。
核心亮点
- 无需针对新场景或目标重新训练,开箱即用
- 利用 CLIP 等大模型,语义理解远超传统方法
- 在 Habitat 等标准基准上达到 SOTA 零样本效果
不足之处
- 依赖预训练视觉语言模型,对算力要求较高
- 文档/社区待观察
适用场景
- 家庭服务机器人按指令找物体
- 无人机在陌生环境执行搜索任务
- 自动驾驶车辆理解开放道路目标
替代项目
CoW (Context-aware Waypoints)、ZSON (Zero-Shot Object Navigation)、SemExp (Semantic Exploration)
同类项目推荐
SimdPaddleOCR
开源
纯C#跑PP-OCRv6,SIMD加速,多平台离线文字识别
纯 C# PP-OCRv6 推理库:多平台手写 Kernel / GEMM 等算子、超高性能、低内存需求、超高准···
visionworkbench
开源
NASA 出品的 C++ 视觉工具箱,做高精度图像配准与三维重建
The NASA Vision Workbench is a general purpose image processing and computer vision ···
PaddleOCR
开源
把图片和 PDF 变成 AI 能用的结构化文本数据
Turn any PDF or image document into structured data for your AI. A powerful, lightwe···
Awesome-MLLM-Segmentation
开源
一页看懂 MLLM 做图像视频分割的全部代表论文
A curated list of publications on image and video segmentation leveraging Multimodal···
foundational_fsod
开源
用视觉语言模型让少样本检测更准,小数据也能快速上手
This repository contains the implementation for the paper "Revisiting Few Shot Objec···
manga-image-translator
开源
一键翻译漫画图片文字,自动抹除替换,阅读无国界
Translate manga/image 一键翻译各类图片内文字 https://cotrans.touhou.ai/ https://grea···
react-mindee-js
开源
React 里几行代码接入文档识别,前端直接出结构化结果
Front-End Computer Vision SDK for React
neverclick
开源
用键盘加本地视觉识别,替代鼠标点按操作
Keyboard-driven mouse control using local computer vision.
PaddleOCR-ncnn-CPP
开源
用 ncnn 跑 PaddleOCR 的纯 C++ 离线文字识别方案
C++ implementations of PP-OCRv3/4/5/6 using ncnn for inference.
