auto_eval 是评测安全领域的开源项目，由 zhouzypaul 开发，2025 年首次发布。
它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 107。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。MIT许可证，可自由使用，无付费版本。
它主要面向的使用场景是：机器人操作策略的研发迭代中，快速评估新策略效果。同类可对比的替代方案包括 robosuite、RLBench、Meta-World。
auto_eval
让机器人策略评估全自动，省时省力又客观
AutoEval 是一个针对通用机器人操作策略的自动化评估框架，源自 CoRL 2025 论文。它解决的是在真实世界中评估机器人操作策略时成本高、流程繁琐、难以标准化的问题。核心能力包括：自动生成多样化的评估任务场景，通过预设的评分标准对机器人的操作结果进行自动判定，并支持在真实机器人平台上进行闭环评估。该框架旨在减少人工干预，提高评估的效率和可重复性，帮助研究人员快速、客观地比较不同操作策略的性能。它提供了一套完整的评估流程，从任务定义、场景布置到结果分析，都力求自动化，从而加速机器人学习研究的迭代。
开源
free
开源模型
GitHub 星标
★ 107
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队zhouzypaul
所属国家
定价模式free
价格说明开源项目，MIT许可证，可自由使用，无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型foundation-models,robot-learning
GitHub 星标★ 107
30天Star增速
HF 下载量
上线时间2025-03-26 00:00:00
最近更新2026-09-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4
使用教程
核心亮点
- 自动化评估流程，大幅减少人工干预，提升评估效率
- 基于真实世界场景，评估结果更贴近实际应用
- 提供标准化评分机制，便于不同策略间横向对比
不足之处
- 项目处于早期阶段，文档和社区支持有待完善
- 依赖特定的机器人硬件和场景设置，通用性待验证
适用场景
- 机器人操作策略的研发迭代中，快速评估新策略效果
- 对比不同算法在真实任务上的表现，辅助选型
- 在实验室环境中，自动化生成评估报告，减少人力成本
替代项目
robosuite、RLBench、Meta-World
项目介绍
上一篇：TAB
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.