评测安全

ParseBench 开源 免费 仅开源

给AI文档解析打分，选型不踩坑

ParseBench 是一个面向 AI Agent 的文档解析基准测试工具，旨在解决 LLM 应用中文档解析能力难以量···

llm-as-a-verifier 开源 可打开

给任意 agent 加个 LLM 裁判，不训练也能细粒度打分

llm-as-a-verifier 是一个通用型验证框架，用大语言模型充当智能体行为的裁判，无需额外训练即可对···

agent-opfor 开源 免费 仅开源

给AI智能体做安全体检，模拟攻击找漏洞

agent-opfor 是一个开源的 AI 智能体对抗模拟工具，专注于对 AI 智能体和 MCP 服务器进行红队测试。···

AgentHound 开源 可打开

像 BloodHound 一样测绘 AI 智能体攻击路径，快速发现安全弱点。

AgentHound 是一个针对 AI 智能体基础设施的进攻性安全框架，旨在解决 AI 代理、MCP 服务、A2A 协议···

llm-coding-benchmark 开源 免费 仅开源

自动跑编码题，横向比出哪个大模型写代码更强

llm-coding-benchmark 是一个用 Python 编写的轻量级评测工具，专门用来横向对比主流开源与商用大模···

Video-MME-v2 开源 免费 仅开源

评测视频大模型，从看懂片段到理解长视频全场景。

Video-MME-v2 是一个面向全面视频理解的新一代评测基准项目。它旨在解决现有视频理解基准在任务多样···

OpenART 开源 免费 仅开源

万级场景压测 AI Agent，提前揪出越权与投毒风险

OpenART 是一个面向自主 AI 智能体（Agent）的开源安全评测框架，专注在动态、长周期、有状态的环境···

hol-guard 开源 免费 仅开源

给 AI 代理装杀毒软件，实时拦截危险操作和攻击

hol-guard 是一个面向 AI 智能体的开源防病毒工具，旨在解决 AI 代理在运行时面临的多类安全威胁。···

Awesome-Embodied-AI-Safety 开源 免费 仅开源

一网打尽具身AI安全研究，500+论文系统梳理

这是一个关于具身AI安全领域的综述性开源项目，汇集了500多篇相关论文，系统梳理了具身AI在感知、认···

overmind 开源 不稳定

追踪+评测+微调，让 Agent 越用越准

Overmind 是一个面向 AI Agent 的持续改进平台，核心目标是解决 Agent 上线后效果难以量化、迭代缺···

Awesome-AIGC-Image-Video-Detection 开源 免费 仅开源

一页看全 AIGC 图像视频检测论文、数据集与基准

这是一个聚焦 AI 生成图像与视频检测方向的资源合集，把散落在论文、数据集、基准测试和工具中的资···

Data-Preparation-Bench 开源 免费 仅开源

用下游效果给训练数据质量打分

Data-Preparation-Bench 是一个面向大模型训练数据构建的开源评测基准，重点衡量数据准备环节对下游···

eva 开源 免费 仅开源

一套框架，全面衡量语音代理表现，快速定位短板。

eva 是一个用于评估语音代理（Voice Agents）的全新端到端框架。它解决的核心问题是：语音代理系统···

RAMPART 开源 免费 仅开源

用 pytest 给 AI 智能体做安全体检，上线前跑一遍

RAMPART 是一个面向智能体（Agentic）AI 应用的安全与安保测试框架，采用 pytest 原生方式编写和运···

defenseclaw 开源 免费 仅开源

给自主 AI Agent 套上可审计的安全护栏

DefenseClaw 是一个用 Go 编写的 Agentic AI 安全治理框架，面向自主智能体（Agent）在生产环境中的···

hawk 开源 不稳定

把 Inspect AI 评测搬到云端批量跑

hawk 是一个用 Python 编写的工具，目标是把 Inspect AI 的评测任务放到云端运行。Inspect AI 是面···

mcp-observatory 开源 免费 仅开源

在智能体接入前，自动给 MCP 服务器做安全体检

mcp-observatory 是一个面向 MCP（模型上下文协议）服务器的 CI 原生安全测试工具。它解决了 AI 智···

ai-scanner 开源 可打开

一条命令给 AI 模型做安全体检，提前发现越狱和泄露风险

ai-scanner 是一个基于 NVIDIA garak 构建的 AI 模型安全扫描工具，用 Ruby 语言编写。它把 garak ···

evals 开源 不稳定

配置驱动的 Agent 评测，批量跑完直接看结果

evals 是一个用 Go 编写的智能体评测框架，主打快速、稳健与可配置。它面向需要评估 AI Agent 表现···

ResearchClawBench 开源 免费 可打开

给AI科研智能体打分，从复现实验到发现新知识

ResearchClawBench 是一个用于评估 AI 智能体在自动化科研任务中能力的基准测试平台，覆盖从“重新···

ClawdSecbot 开源 可打开

给 AI Bot 装上实时安全盾牌，防注入、防攻击、可审计。

ClawdSecbot 是一款面向 AI Bot 应用的专业安全防护工具，基于 Go 语言开发。它主要解决 AI 应用面···

harbor-cookbook 开源 免费 仅开源

照着示例搭 agent 评测与调优闭环

harbor-cookbook 是 Harbor 评测框架的示例代码库，用 Python 编写，面向需要构建 agent 评测与优化···

Alignment-Whack-a-Mole-Code 开源 免费 仅开源

微调一下，对齐模型又开始背版权书

该项目是论文《Alignment Whack-a-Mole: Finetuning Activates Verbatim Recall of Copyrighted Bo···

claw-eval 开源 免费 仅开源

接入模型跑人工校验任务，快速量化智能体能力

claw-eval 是一个面向 LLM 智能体（LLM as agents）的评测框架（evaluation harness），核心目标是···