项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 726
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10+
- 机器人或仿真环境
安装与启动步骤
-
1建环境
按需装带可视化的依赖。
uv venv && uv pip install "inspect-robots[rerun]" -
2装策略
跑机器人策略要装对应扩展。
uv pip install inspect-robots-yam -
3起服务
机器人侧起一个服务端。
python examples/yam/host_server_yam.py --host 0.0.0.0 --port 8202 -
4跑评测
用内置评测任务验证。
# 用 inspect 命令跑机器人任务
如何确认成功
评测能跑完并输出成功率等指标。
注意事项
- 基准定义一次，可换不同策略对比。
- 真机运行前先在仿真里过一遍。
核心亮点
- 统一模型与硬件接口，换机器人或换模型只需改配置，不用重写评测代码
- 支持真实与仿真两类基准，覆盖 sim-to-real 对比需求
- 内置 rerun 可视化，轨迹与失败案例可直接回放排查
不足之处
- 项目处于早期，星标 460，生态与预置基准数量有限
- 真实机器人接入依赖具体硬件驱动，开箱即用程度待验证
适用场景
- 研究团队横向对比多个 VLA 模型在同一机械臂上的成功率
- 开发者把新训练的 LLM 策略快速接入现有仿真基准跑分
- 实验室建立内部机器人评测基线并长期追踪模型迭代效果
替代项目
robosuite、robomimic、AI2-THOR
上一篇：convex-evals
下一篇：aiewf-eval
同类项目推荐
hackagent
开源
给 AI 智能体做安全体检，提前发现漏洞防攻击
HackAgent is an open-source security toolkit to detect vulnerabilities of your AI Ag···
safelabs-eval
开源
给 AI 智能体做红队体检，上线前先找出被越狱和注入的漏洞
Red-teaming and evaluation framework for AI agents, built around an OWASP-inspired A···
benchflow
开源
一键搭建 RL 训练与评测流水线，省去重复造轮子
Research infra for creating RL environments, post-training, and evals.
langtest
开源
给大模型做全面体检，上线前揪出安全漏洞
Deliver safe & effective language models
Frontier-CS
开源
用开放式 CS 难题测出大模型的真实上限
A benchmark for evaluating LLMs on open-ended CS problems. Exploring the Next Fronti···
tool-retrieval-benchmark
开源
测测你的检索模型会不会挑工具，让LLM用对工具
Official code for ACL2025 " Retrieval Models Aren’t Tool-Savvy: Benchmarking Tool R···
lmms-eval
开源
一套工具搞定文本/图像/视频/音频模型评测，结果可复现
One-for-All Multimodal Evaluation Toolkit Across Text, Image, Video, and Audio Tasks
rageval
开源
给RAG系统打分，快速找出效果短板
Evaluation tools for Retrieval-augmented Generation (RAG) methods.
Awesome-Mental-Health-LLMs
开源
一篇文章看懂LLM做心理健康的技术地图与风险
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Mode···