评测安全

XSafeClaw 开源 可打开

给 AI 智能体装上安全盾，自动红队测试找漏洞

XSafeClaw 是复旦大学开源的多智能体安全评测平台，专注于检测和防御针对 LLM 智能体的安全威胁。它···

myclaw-bench 开源 可打开

给 OpenClaw 智能体打分，45 个任务看清实力

myclaw-bench 是一个针对 OpenClaw 智能体的基准测试项目，由 MyClaw.ai 提供支持。它旨在解决 AI ···

awesome-agent-skills-security 开源 免费 仅开源

一份清单看懂 Agent 工具调用的攻击与防御

这是一个聚焦 AI Agent 技能（Skill）与工具调用安全的资源合集项目，系统整理了攻击手法、防御方案···

AutoControl-Arena 开源 可打开

自动给AI找茬，提前暴露危险行为

AutoControl-Arena 是一个面向前沿 AI 的风险自动发现平台，旨在系统性地评估和暴露大语言模型在自···

valqore 开源 免费 仅开源

给 AI 运维操作装上安全气囊，防止误操作搞垮云环境

valqore 是一个面向 AI 驱动云和 Kubernetes 运维的安全护栏框架。它解决的是当 AI 或自动化脚本直···

Aegis 开源 免费 仅开源

给 AI 代理加装安全护栏，零代码实现审计、审批和紧急停机。

Aegis 是一个面向 AI 代理的运行时策略执行引擎，旨在解决 AI 代理在自主执行任务时缺乏安全管控的···

agentseal 开源 可打开

给 AI 智能体做安全体检，防投毒防注入

AgentSeal 是一个面向 AI 智能体的安全工具包，主要解决 AI Agent 在运行时面临的安全风险，包括恶···

evalstats 开源 可打开

小样本评测也能算出模型差异是否真实

evalstats 是一个面向 AI 评测场景的 Python 统计推断库，专门解决小样本条件下模型对比与评测结论···

ATM-Bench 开源 免费 仅开源

测测AI能否记住你4年前的琐事

ATM-Bench 是一个用于评估 AI 智能体长期个性化记忆能力的基准测试平台。它解决了当前 AI 在跨长时···

evals-skills 开源 付费 可打开

跟着课程搭 LLM 评测体系，把主观质量变成可复现指标

evals-skills 是面向 AI 评测领域的技能集合，配套《AI Evals For Engineers & PMs》课程使用，帮助···

Internal-Safety-Collapse 开源 免费 仅开源

把AI智能体放进正常代码流程，看它如何自己补出危险操作

Internal-Safety-Collapse 是一个面向 AI 智能体安全评测的对抗性代码空间项目，论文被 NeurIPS 20···

lintlang 开源 可打开

上线前扫一遍，AI 智能体配置不踩坑

lintlang 是一个针对 AI 智能体配置的静态分析工具，专注于在运行时之前发现工具描述模糊、缺少停止···

arksim 开源 免费 仅开源

模拟真实用户对话，上线前自动揪出智能体错误。

arksim 是一个用于对话式 AI 智能体的开源评估与模拟测试框架。它通过模拟真实用户与智能体进行交互···

node9-proxy 开源 可打开

给AI代理装上安全阀，敏感操作先审批再执行

node9-proxy 是一个面向 AI Agent 时代的执行安全层，为自主 AI 代理提供确定性的“Sudo”治理和审···

watchtower 开源 免费 仅开源

用 LLM 编排本地网站渗透测试，自动出报告

Watchtower 是一个基于大语言模型和 LangGraph 编排的 AI 渗透测试自动化命令行工具，面向需要在本···

Jailbreak-Foundry 开源 免费 仅开源

把越狱论文变成可跑的攻击测试，实时更新基准

Jailbreak-Foundry 是一个将越狱研究论文转化为可运行攻击与基准测试的系统，旨在解决 AI 安全研究···

guardian-sdk 开源 免费+付费 仅开源

给 AI 应用装上安全气囊，防住提示注入和越狱攻击。

Guardian SDK 是 Ethicore Engine™ 的开源组件，一个专注于 AI 安全、伦理与合规的防护平台。它通···

agentevals 开源 可打开

用追踪数据评估智能体，无需绑定框架

agentevals 是一个与框架无关的 LLM 智能体评估解决方案，它基于 OpenTelemetry 追踪数据来工作。该···

AutomationBench 开源 可打开

测测你的AI智能体，能不能搞定真实业务流程

AutomationBench 是一个用于评估 AI 智能体在真实业务流程中表现的基准测试框架。它由 Prime Intel···

EnterpriseRAG-Bench 开源 免费 仅开源

用真实企业文档评测你的RAG系统，告别通用测试集偏差

EnterpriseRAG-Bench 是一个专为企业内部文档场景设计的 RAG（检索增强生成）评测基准与数据集。它···

pi-guardrails 开源 免费 仅开源

给 AI 代理装刹车，危险命令和环境文件先拦下

pi-guardrails 是给 Pi 编程代理加的一层安全钩子（security hooks）。当 AI 代理自动执行命令、读···

Aegis 开源 免费 已失效

给AI代理装上监控摄像头，实时盯住它的每一个动作。

Aegis 是一个面向 AI 智能体的开源端点检测与响应（EDR）工具，专门监控自主 AI 代理的进程、文件、···

www-project-agent-memory-guard 开源 免费 仅开源

给AI智能体记忆加把锁，防投毒防操控

Agent Memory Guard 是 OWASP 基金会下的一个开源项目，专注于解决 AI 智能体（Agent）的记忆安全问···

open-bias 开源 可打开

给 AI Agent 加一道策略防火墙，违规请求当场拦截

open-bias 是一个开源的策略执行代理（policy enforcement proxy），定位为 AI 代理的“防火墙”与···