sim-evals

把机器人策略丢进仿真跑分,省下真机评测的麻烦

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 42 🐛 待处理 8 👀 关注 2
GitHub ↗
GitHub 星标 ★ 243
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费,无定价信息

项目预览

sim-evals 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队arhanjain
定价模式🏷️完全免费
价格说明开源免费,无定价信息
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
GitHub 星标★ 243
上线时间2025-05-23 00:00:00
代码更新2026-08-19
仓库体积19.4 MB
本站数据更新2026-11-04
维护状态维护中
收录时间2026-09-14
浏览次数1

项目介绍

sim-evals 是一个面向 DROID 机器人操作数据集的仿真评测平台,用 Python 实现。它解决的核心问题是:机器人策略在真实环境评测成本高、不可复现,而现有仿真评测又缺乏统一标准。该平台把策略放进仿真环境里跑标准任务,自动计算成功率等指标,让不同模型可以在同一套规则下对比。核心能力包括:对接 DROID 数据格式、批量运行策略、记录轨迹与指标、输出可比较的评测报告。适合做模仿学习、VLA 模型的研究者快速验证效果,也方便团队做模型选型。项目目前处于早期,星标约 241,生态和文档还在建设中,但方向明确,填补了 DROID 生态缺少统一仿真评测的空白。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 243

核心亮点

  • 针对 DROID 数据集做了适配,评测流程可直接复用
  • 用仿真替代真机,降低评测成本和硬件门槛
  • 自动记录指标与轨迹,方便横向对比不同策略

不足之处

  • 项目早期,文档和示例可能不完整
  • 仿真与真机存在差距,评测结论需谨慎外推

适用场景

  • 机器人模仿学习研究者快速验证新策略效果
  • 团队在多个 VLA 模型之间做选型对比
  • 论文投稿前补充仿真评测实验数据

替代项目

robomimic、LIBERO

上一篇:evals-skills

下一篇:next-evals-oss

同类项目推荐

AISafetyHot-Hub 开源

每天一份 AI 安全论文清单,md/bib/json 直接喂给 Agent

Safety News & Research Monitor. https://aisafetyhot.com

★ 2103 2026-10-10
inspect-robots 开源

一套接口,把任意 VLA 模型放到任意机器人上跑分

Open source evals for physical AI. Run any LLM/VLA on any arm/humanoid against any r···

★ 726 2026-09-14
aws-bench 开源

给AI智能体在真实AWS云上打分的基准测试

aws-bench measures how well AI agents and model combinations perform on real AWS wor···

★ 143 2026-08-09
inseq 开源

一键透视生成模型,看透每个 token 的决策依据

Interpretability for sequence generation models

★ 477 2026-08-09
napolab 开源

一站式对比葡萄牙语AI模型,掌握最新性能排名

The Natural Portuguese Language Benchmark (Napolab). Stay up to date with the latest···

★ 71 2026-08-09
DiffusionGeometry 开源

论文扩散几何方法的可运行复现实验代码

The code for "Computing Diffusion Geometry" (2026).

★ 123 2026-10-29
Internal-Safety-Collapse 开源

把AI智能体放进正常代码流程,看它如何自己补出危险操作

[NeurIPS 2026] Safety failures in coding agents and frontier LLMs. Reproducible work···

★ 2600 2026-10-10
uqlm 开源

量化 LLM 不确定性,精准识别幻觉,提升 AI 输出可信度。

[JMLR 2026] UQLM: A Python package for LLM hallucination detection using uncertainty···

★ 1217 2026-08-10
Diffusion-MU-Attack 开源

快速攻破遗忘扩散模型,测出安全漏洞

The official implementation of ECCV'24 paper "To Generate or Not? Safety-Driven Unle···

★ 89 2026-08-09