项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 840
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 3.9
- 仿真环境(如 CoppeliaSim)
- LLM/VLM 端点
安装与启动步骤
-
1建环境
用 LLM+VLM 零样本合成操作轨迹,Python 3.9。
conda create -n voxposer-env python=3.9 conda activate voxposer-env pip install -r requirements.txt -
2配模型
要填 LLM 与 VLM 的端点,视觉模型给场景理解。
# 在 config 里填 API Key 与模型名 -
3准备场景
仿真器与相机参数要对齐,否则坐标全错。
# 启动仿真环境后加载场景配置 -
4跑演示
给一句自然语言指令,看轨迹是否合理。
python demo.py --instruction "put the apple in the bowl"
如何确认成功
生成的轨迹能让机械臂完成指令动作。
注意事项
- 它的核心是把空间约束写成代价场,再由规划器求解。
- 相机外参错一点,轨迹就完全偏,先标定。
- 仿真跑通再上真机。
核心亮点
- 无需训练或微调,直接利用预训练LLM和视觉模型,快速适配新任务
- 3D价值图可组合,支持复杂任务分解与多步骤操作
- 代码开源且模块化,便于研究者二次开发和集成
不足之处
- 依赖高质量3D场景感知,对传感器精度要求高
- 文档/社区待观察
适用场景
- 家庭服务机器人指令控制
- 工业分拣与装配自动化
- 科研教学中的机器人操作原型验证
替代项目
RT-2、SayCan、PaLM-E
同类项目推荐
roofgan
开源
一键生成结构合理的3D屋顶,助力建筑自动化建模。
[CVPR 2021] Roof-GAN: Learning to Generate Roof Geometry and Relations for Residenti···
pix2gestalt
开源
从部分可见图像,零样本补全出完整物体形状
Code for the paper "pix2gestalt: Amodal Segmentation by Synthesizing Wholes" (CVPR 2···
GroundingPI
开源
一个4B模型统一六类视觉定位,还能提升机器人泛化
A 4B grounding foundation model for physical intelligence. Unifies detection, referr···
camera.ui
开源
本地跑 AI 监控,摄像头秒变智能 NVR
The modern, local-first platform for professional video surveillance.
SurgicalDINO
开源
用基础模型适配器,让内窥镜图像秒变深度图,助力手术导航。
[IPCAI 2024 (IJCARS special issue)] Surgical-DINO: Adapter Learning of Foundation Mo···
segmentation_models.pytorch
开源
一行代码调用 500+ 预训练分割模型,快速搭建语义分割流水线。
Semantic segmentation models with 500+ pretrained convolutional and transformer-base···
DriveLM
开源
用图问答让自动驾驶学会推理和解释
[ECCV 2024 Oral] DriveLM: Driving with Graph Visual Question Answering
pdf-craft
开源
把扫描版PDF变成可编辑文本,读书笔记一键搞定
PDF craft can convert PDF files into various other formats. This project will focus ···
InstructCV
开源
用一句话指令,让扩散模型搞定多种视觉任务
[ ICLR 2024 ] Official Codebase for "InstructCV: Instruction-Tuned Text-to-Image Dif···
