评测安全

SWE-bench_Pro-os 开源 免费 仅开源

用长周期工程任务，真实测出 AI Agent 的软件工程上限

SWE-bench_Pro-os 是 SWE-bench Pro 评测基准的开源实现，专门用于衡量 AI Agent 在长周期、多步骤···

AgentCompass 开源 免费 仅开源

一套框架统一跑各家智能体评测，结果可横向对比

AgentCompass 是一个面向 LLM/VLM 智能体的可扩展开源评测基础设施，论文被 EMNLP 2026 收录。它要···

FDAbench 开源 免费 仅开源

给数据智能体打分，看谁更会分析异构数据

FDABench 是一个用于评估数据智能体（Data Agents）在异构数据上执行分析查询能力的基准测试平台，···

AIGoat 开源 免费 不稳定

本地靶场练 LLM 攻击与防御

AIGoat 是一个开源 AI 安全演练场，面向大模型红队测试与安全学习。它把提示词注入、RAG 数据投毒、···

PatchEval 开源 免费 可打开

用真实漏洞测大模型修 bug 的真本事

PatchEval 是一个面向大语言模型的安全漏洞修复能力评测基准，聚焦真实世界软件漏洞的补丁生成任务···

Gym 开源 免费 仅开源

把模型丢进环境里跑，边评测边改进智能体

Gym 是一个用于评估和改进模型与智能体的环境框架，核心思路是把评测从静态数据集搬到可交互的环境···

AgentArk 开源 免费 仅开源

一套环境跑通多模态 Agent 评测与 RL 训练

AgentArk 是一个面向多模态智能体（Agent）的通用环境框架，主要解决当前 Agent 评测与强化学习训练···

Awesome-LLM-Reasoning-Failures 开源 免费 仅开源

一库看懂大模型推理翻车现场与原因

这是一个围绕《Large Language Model Reasoning Failures》论文整理的开源资源库，系统收集大语言模···

GitTaskBench 开源 免费 仅开源

用真实仓库任务，测出代码代理的真实水平

GitTaskBench 是一个面向真实世界代码代理的仓库级基准测试平台，旨在全面评估 AI 编程助手在复杂软···

ASTRA 开源 免费 仅开源

实战对抗攻击，一键测出 AI 模型的安全漏洞

ASTRA 是亚马逊 Nova AI 安全挑战赛的冠军项目，作为攻击方团队，在实时对抗评估中击败了来自全球顶···

Omni-SafetyBench 开源 免费 仅开源

给音视频大模型做安全体检，发现隐藏风险

Omni-SafetyBench 是一个用于评估音视频大语言模型（AV-LLMs）安全性的基准测试工具，源自 ACM MM ···

harbor 开源 可打开

在真实终端里给智能体打分，让改进有据可依

Harbor 是一个用于评估和改进智能体（agents）的框架，主要面向终端环境下的任务。它提供了一套标准···

python-sdk 开源 仅开源

官方 Python 客户端，几行代码接入标准化 AI 评测

这是 Eval Protocol 官方推出的 Python SDK，用于在 Python 项目中接入 Eval Protocol 的评测能力。···

evals 开源 免费 仅开源

给 AI Agent 做统一考试，改一版测一版

evals 是一个面向 AI Agent 与 LLM 应用的综合评测框架，用 Python 编写，核心目标是解决大模型应用···

any-guardrail 开源 免费 仅开源

一个接口切换多种大模型安全护栏，评测对比不再改代码

any-guardrail 是一个面向大模型安全评测的 Python 工具库，目标是让研究者和工程实践者用统一接口···

InferenceX 开源 不稳定

多模型多硬件推理压测，一键跑出可比性能数据

InferenceX 是一个开源的持续推理基准研究平台，专注在大规模 LLM 推理场景下做可复现、可持续的性···

OpenJudge 开源 可打开

给AI智能体当裁判，量化每一步质量，训练更靠谱的Agent。

OpenJudge 是一个用于智能体全面评估与质量奖励的统一框架。它解决的核心问题是：当前大模型智能体···

sec-code-bench 开源 免费 仅开源

测测大模型写的代码安不安全

SecCodeBench 是一个专注于评估大语言模型生成代码安全性的基准测试套件。随着 LLM 被广泛用于代码···

AlgoTune 开源 免费 仅开源

写更快的代码，用154道题检验你的算法优化能力

AlgoTune 是 NeurIPS 2025 推出的基准测试，包含 154 道数学、物理和计算机科学问题。其目标不仅是···

MemoryAgentBench 开源 免费 仅开源

多轮对话里测 Agent 记不记得住、找不找得回

MemoryAgentBench 是 ICLR 2026 论文的官方开源代码，聚焦于评估 LLM Agent 的记忆能力。现有 Agen···

ArtifactsBenchmark 开源 免费 仅开源

一键跑分，量化 AI 生成工件质量

ArtifactsBenchmark 是一个用于评估和比较 AI 生成工件（如代码、文档、设计稿等）质量的基准测试框···

DreamLayer-Eval 开源 可打开

一键自动化评测扩散模型，告别手动调参和结果不可复现。

DreamLayer-Eval 是一个面向扩散模型的自动化评测基准工具，旨在解决图像生成模型评估过程繁琐、结···

genai-bench 开源 免费 仅开源

token 级压测 LLM 服务，选型调优有据可依

genai-bench 是一个面向大语言模型服务系统的基准测试工具，核心特点是把评测粒度下沉到 token 级别···

OceanGym 开源 免费 仅开源

打造水下机器人的“健身房”，让智能体在仿真洋流中练就真本事。

OceanGym 是一个面向水下具身智能体的基准测试环境，旨在解决水下机器人（如AUV、ROV）在复杂海洋环···