评测安全

keystone-bench 开源

换掉关键事实，看AI医疗建议会不会跟着变

keystone-bench 是一个面向临床决策支持的评测基准，基于 OpenAI 的 HealthBench 构建。它要解决的···

hanshuang-codex 开源

桌面端批量测大模型越狱提示，一键跑实验看边界

hanshuang-codex 是一个用 Python 编写的开源实验项目，主要针对 GPT 6.0 与 workbuddyV4.1flash 等···

dynolab 开源

Mac 本地跑 AI 可解释性实验，激活探针 SAE 一站搞定

Dyno Lab 是一个面向 Apple Silicon 的 AI 安全、对齐与可解释性研究工作台，用 Swift 编写，底层基···

eval 开源

用真实编码任务测出大模型真实力，结果公开可对比

eval 是 FrontierHarness 项目的评测结果与任务定义公开仓库，专注于大语言模型（LLM）在真实编码环···

nordef-matrix-open-control 开源

给 AI 加一道可验证的安全闸门，三态决策拦截风险

nordef-matrix-open-control 是一个面向 AI 安全管控的开源项目，定位为模型无关的“AI 安全带”。···

trustmebro 开源

伪造工具输出，测出模型护栏会不会被骗

TrustMeBro 是一个用 Go 编写的 LLM 安全评测工具，专门测试大模型护栏（guardrails）在伪造工具输···

dodoguard 开源

给 AI Agent 加一道全流程安全护栏，防注入防越权

DodoGuard 是一个面向 AI Agent 全生命周期的开源安全防护工具，用 TypeScript 编写，主要解决 Dif···

EvalForge 开源

给 AI 评测加回归门禁，指标一降 CI 就拦。

EvalForge 是一个面向 AI/LLM 应用的评测与质量门禁工具，用 Python 编写。它解决的核心问题是：团···

GLM-5.3-Flash-J-Space-Capability-Rea··· 开源

把大模型智能体能力评测做成可读报告，一眼看清真实水平

这是一个围绕 GLM-5.3-Flash 与 J-Space 认知套件的能力实现报告型开源项目，核心是把 J-Space Cog···

dsh-auto-review 开源

给DeepSeek审批加道AI安全锁，自动审查敏感操作

dsh-auto-review 是一个面向 DeepSeek Harness 审批流程的 AI 自动审查插件，属于评测安全领域。它···

ai-evals 开源

用 Ruby 脚本跑 AI 模型评测，选型对比有据可依

ai-evals 是一个用 Ruby 编写的 AI 模型评测与基准测试工具集，目标是为开发者提供可复用的测试用例···

meow-llm-detector 开源

一键验真，揪出冒充大模型的李鬼

meow-llm-detector 是一个用 Python 编写的开源工具，专门用于检测一个 AI 模型是否真实——即判断···

benchmark-radar 开源

一站追踪全球 AI 评测基准，每日更新可溯源

benchmark-radar 是一个面向 AI 评测领域的数据聚合工具，它从 37 个公开来源持续抓取并整理超过 1···

model-serving-minefield 开源

按症状查 LLM 服务陷阱，避免自信的错误测量

model-serving-minefield 是一个社区维护的 LLM 推理服务“踩坑登记册”，专门收集那些会让测量结果···

SIMURG 开源

流式生成中实时拦截重复、漂移和乱码，不让坏 token 见用户

SIMURG 是一个面向大语言模型流式输出的在线异常检测与防护工具。它解决的核心问题是：LLM 在解码过···

awesome-cyber-ai-arsenal 开源

一站式导航AI安全攻防工具，快速定位所需资源

这是一个精选的开源工具清单，汇集了进攻性安全、防御性安全以及AI/LLM安全相关的资源。它旨在解决···

LLMVault 开源

在真实漏洞靶场中练手，掌握 LLM 安全攻防实战

LLMVault 是一个专为 AI 安全设计的开源训练平台，基于 OWASP LLM Top 10 标准构建，帮助安全工程师···

aws-bench 开源

给AI智能体在真实AWS云上打分的基准测试

aws-bench 是一个用于评估 AI 智能体在真实 AWS 云环境中执行任务能力的基准测试工具。它针对云运维···

guardrails-llm-filter 开源

给大模型请求做脱敏，敏感数据不出本地

guardrails-llm-filter 是一个用 Go 编写的透明反向代理，部署在客户端与 LLM 服务商之间。它解决的···

context-bombs 开源

用现成的攻击字符串，测出你的 AI 系统抗不抗揍。

context-bombs 是一个专注于 AI 安全与评测的开源项目，核心是提供一系列精心构造的“上下文炸弹”···

DeepSec 开源

AI 写码，DeepSec 把关，实时防漏洞，自动测安全。

DeepSec 是一个面向 AI 安全攻防的开源平台，包含 Shield 和 Spear 两大核心组件。Shield 用于实时···

awesome-llm-agent-papers 开源

200+篇LLM智能体论文，按主题分类，助你快速掌握前沿。

这是一个精选的LLM智能体论文阅读清单，持续更新，收录了200多篇关于规划、记忆、工具使用、多智能···

Cognitive-Core-Skills 开源

一套标准，量化AI的认知核心技能，让模型能力可比较。

这是一个面向大模型、小模型、AI智能体及世界模型的认知核心技能通用分类体系。它不依赖特定行业，···

NiceEval 开源

10分钟为你的AI Agent搭建评测体系

NiceEval 是一个面向 AI Agent 的轻量级评测框架，旨在帮助开发者快速构建和运行评估任务。它解决了···