项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 482
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10
- CUDA GPU
- 仿真渲染依赖
安装与启动步骤
-
1建环境
锁 Python 3.10。
conda create -n vlabench python=3.10 -
2拉代码装依赖
requirements 之后还要以可编辑方式装本包。
pip install -e . -
3下资源
仿真资产要单独下载。
python scripts/download_assets.py -
4生成数据
多卡生成脚本在 sh 目录里。
bash sh/data_generation/multi_gpu_data_generation.sh -
5跑评测
先在分布内任务上跑通，再换其他赛道。
bash sh/evaluation/example_multi_gpu_eval.sh --track track_1_in_distribution --task select_toy
如何确认成功
下载资源后能生成一小批轨迹数据，并在分布内赛道上跑出一个非空的评分结果
注意事项
- 它是机器人长程操作能力的基准，包含仿真环境、数据生成和评测三块，不是能直接上真机的策略。
- 数据生成和评测都很吃卡，单卡跑小样本可以，全量必须多卡。
- 资源下载脚本会拉仿真资产，网络不好时这一步最容易卡。
- 它支持导出成两种主流机器人数据集格式，迁移前先看导出脚本的参数。
核心亮点
- 提供大规模标准化仿真任务，覆盖多种具身场景，评估维度全面
- 设计公平对比协议，减少任务偏差，结果可信度高
- 支持VLA、具身智能体、VLM多类模型，适用面广
不足之处
- 早期项目，文档和社区支持待观察
- 依赖仿真环境，与真实物理世界存在差距
适用场景
- 学术研究：对比不同VLA模型在具身任务中的表现
- 模型开发：在发布前用统一基准测试模型能力
- 教育评估：用于具身智能课程或竞赛的标准化测试
替代项目
RLBench、Meta-World、ALFRED
同类项目推荐
awesome-direct-preference-optimi···
开源
一网打尽DPO论文与代码，快速入门偏好对齐
A Survey of Direct Preference Optimization (DPO)
Tracekit
开源
给 AI Agent 装行车记录仪，每步可查、篡改可发现
Tamper-evident tracing, policy gates and cross-checks for AI agents: see what the ag···
LiveBench
开源
每月换新题，测出模型真实水平
LiveBench: A Challenging, Contamination-Free LLM Benchmark
ResearchClawBench
开源
给AI科研智能体打分，从复现实验到发现新知识
ResearchClawBench: Evaluating AI Agents for Automated Research from Re-Discovery to ···
optimum-benchmark
开源
一键横评多后端推理性能，选型不靠猜
️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffus···
sec-code-bench
开源
测测大模型写的代码安不安全
SecCodeBench is a benchmark suite focusing on evaluating the security of code genera···
agentevals
开源
用追踪数据评估智能体，无需绑定框架
agentevals is a framework-agnostic evaluations solution based on OpenTelemetry trace···
VLABench
开源
一站式公平评测VLA与具身智能模型，让模型实力一目了然
A large-scale benchmark for evaluating vision-language-action models, embodied agent···
VibeSearchBench
开源
专治搜索系统'听不懂人话'，用200个模糊任务测出真实力
The hardest search benchmark in the wild — vague, multi-turn, proactive. 200 long-h···