VoxPoser

说句话,机器人就能干活,无需训练直接上手

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 111 🐛 待处理 32 👀 关注 8
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 840
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

VoxPoser 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队huangwl18
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型embodied-ai,foundation-models,large-language-models,motion-planning,robotic-manipulation,robotics,vision-language-model
GitHub 星标★ 840
上线时间2023-11-02 00:00:00
代码更新2025-02-20
仓库体积7.3 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

VoxPoser 是一个将大语言模型(LLM)与机器人操作相结合的框架,旨在让机器人仅通过自然语言指令就能完成复杂的物理操作任务。它解决了传统机器人编程需要专业代码或大量演示数据的问题,核心能力是构建可组合的3D价值图(3D Value Maps),将语言指令转化为机器人可执行的轨迹。用户只需输入如“把红色方块放到蓝色盒子里”这样的指令,VoxPoser 会利用 LLM 的常识推理和场景理解,生成一系列操作步骤,并映射到3D空间中的价值分布,引导机器人完成抓取、移动、放置等动作。整个过程无需额外训练或微调,直接利用预训练模型,具有较好的泛化性和可解释性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 840

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 50 分钟 部署方式:本地安装 4 步

环境要求

  • Python 3.9
  • 仿真环境(如 CoppeliaSim)
  • LLM/VLM 端点

安装与启动步骤

  1. 1建环境

    用 LLM+VLM 零样本合成操作轨迹,Python 3.9。

    conda create -n voxposer-env python=3.9
    conda activate voxposer-env
    pip install -r requirements.txt
  2. 2配模型

    要填 LLM 与 VLM 的端点,视觉模型给场景理解。

    # 在 config 里填 API Key 与模型名
  3. 3准备场景

    仿真器与相机参数要对齐,否则坐标全错。

    # 启动仿真环境后加载场景配置
  4. 4跑演示

    给一句自然语言指令,看轨迹是否合理。

    python demo.py --instruction "put the apple in the bowl"

如何确认成功

生成的轨迹能让机械臂完成指令动作。

注意事项

  • 它的核心是把空间约束写成代价场,再由规划器求解。
  • 相机外参错一点,轨迹就完全偏,先标定。
  • 仿真跑通再上真机。

核心亮点

  • 无需训练或微调,直接利用预训练LLM和视觉模型,快速适配新任务
  • 3D价值图可组合,支持复杂任务分解与多步骤操作
  • 代码开源且模块化,便于研究者二次开发和集成

不足之处

  • 依赖高质量3D场景感知,对传感器精度要求高
  • 文档/社区待观察

适用场景

  • 家庭服务机器人指令控制
  • 工业分拣与装配自动化
  • 科研教学中的机器人操作原型验证

替代项目

RT-2、SayCan、PaLM-E

上一篇:Exp-CLIP

下一篇:MovieChat

同类项目推荐

roofgan 开源

一键生成结构合理的3D屋顶,助力建筑自动化建模。

[CVPR 2021] Roof-GAN: Learning to Generate Roof Geometry and Relations for Residenti···

★ 50 2026-08-09
pix2gestalt 开源

从部分可见图像,零样本补全出完整物体形状

Code for the paper "pix2gestalt: Amodal Segmentation by Synthesizing Wholes" (CVPR 2···

★ 210 2026-08-09
GroundingPI 开源

一个4B模型统一六类视觉定位,还能提升机器人泛化

A 4B grounding foundation model for physical intelligence. Unifies detection, referr···

★ 412 2026-10-18
camera.ui 开源

本地跑 AI 监控,摄像头秒变智能 NVR

The modern, local-first platform for professional video surveillance.

★ 1145 2026-09-13
SurgicalDINO 开源

用基础模型适配器,让内窥镜图像秒变深度图,助力手术导航。

[IPCAI 2024 (IJCARS special issue)] Surgical-DINO: Adapter Learning of Foundation Mo···

★ 70 2026-08-09
segmentation_models.pytorch 开源

一行代码调用 500+ 预训练分割模型,快速搭建语义分割流水线。

Semantic segmentation models with 500+ pretrained convolutional and transformer-base···

★ 11801 2026-08-10
DriveLM 开源

用图问答让自动驾驶学会推理和解释

[ECCV 2024 Oral] DriveLM: Driving with Graph Visual Question Answering

★ 1352 2026-08-09
pdf-craft 开源

把扫描版PDF变成可编辑文本,读书笔记一键搞定

PDF craft can convert PDF files into various other formats. This project will focus ···

★ 6520 2026-08-14
InstructCV 开源

用一句话指令,让扩散模型搞定多种视觉任务

[ ICLR 2024 ] Official Codebase for "InstructCV: Instruction-Tuned Text-to-Image Dif···

★ 463 2026-08-09