auto_eval

让机器人策略评估全自动,省时省力又客观

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 8 🐛 待处理 1 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 108
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可自由使用,无付费版本。

项目预览

auto_eval 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队zhouzypaul
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可自由使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型foundation-models,robot-learning
GitHub 星标★ 108
上线时间2025-03-26 00:00:00
代码更新2026-03-26
仓库体积1.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

AutoEval 是一个针对通用机器人操作策略的自动化评估框架,源自 CoRL 2025 论文。它解决的是在真实世界中评估机器人操作策略时成本高、流程繁琐、难以标准化的问题。核心能力包括:自动生成多样化的评估任务场景,通过预设的评分标准对机器人的操作结果进行自动判定,并支持在真实机器人平台上进行闭环评估。该框架旨在减少人工干预,提高评估的效率和可重复性,帮助研究人员快速、客观地比较不同操作策略的性能。它提供了一套完整的评估流程,从任务定义、场景布置到结果分析,都力求自动化,从而加速机器人学习研究的迭代。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 108

技术标签

核心亮点

  • 自动化评估流程,大幅减少人工干预,提升评估效率
  • 基于真实世界场景,评估结果更贴近实际应用
  • 提供标准化评分机制,便于不同策略间横向对比

不足之处

  • 项目处于早期阶段,文档和社区支持有待完善
  • 依赖特定的机器人硬件和场景设置,通用性待验证

适用场景

  • 机器人操作策略的研发迭代中,快速评估新策略效果
  • 对比不同算法在真实任务上的表现,辅助选型
  • 在实验室环境中,自动化生成评估报告,减少人力成本

替代项目

robosuite、RLBench、Meta-World

上一篇:TAB

下一篇:robustness-foundation-models

同类项目推荐

awesome-ai-security-tools 开源

一页清单,快速定位 AI 安全各细分方向的可用工具

A curated list of public-source, research, and commercial tools for AI security and ···

★ 1722 2026-09-16
UHGEval 开源

一键测出大模型胡说八道,量化幻觉风险

[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···

★ 183 2026-08-09
valqore 开源

给 AI 运维操作装上安全气囊,防止误操作搞垮云环境

Safety-first guardrails for AI-driven cloud and Kubernetes operations

★ 1825 2026-08-09
TransformerLens 开源

像调试代码一样拆开GPT,定位每个注意力头的作用

A library for mechanistic interpretability of GPT-style language models

★ 4057 2026-10-17
LLM-eval-survey 开源

一张图看懂大模型评估,从基准到方法全覆盖

The official GitHub page for the survey paper "A Survey on Evaluation of Large Langu···

★ 1615 2026-08-09
watchtower 开源

用 LLM 编排本地网站渗透测试,自动出报告

Watchtower - AI-powered penetration testing automation CLI tool that leverages LLMs ···

★ 221 2026-10-21
awesome-MLSecOps 开源

一站式查找 AI/ML 安全工具,快速构建防御体系

A curated list of MLSecOps tools and resources for securing machine learning and AI ···

★ 490 2026-08-09
AwesomeLLM4APR 开源

一页看尽大模型修Bug研究全景,快速入门与选题

[TOSEM 2026]A Systematic Literature Review on Large Language Models for Automated Pr···

★ 250 2026-08-09
S-Eval 开源

一键自动化评估大模型安全,覆盖多风险场景

S-Eval: Towards Automated and Comprehensive Safety Evaluation for Large Language Mod···

★ 123 2026-08-09