评测安全

GenAI-LLM-Top10 开源 免费 仅开源

对照 OWASP 清单，快速排查大模型应用安全风险

GenAI-LLM-Top10 是 OWASP 针对大语言模型应用发布的风险清单项目，用 JavaScript 实现相关演示与说···

AgentMark 开源 免费 仅开源

给AI智能体行为打上隐形水印，防止被盗用

AgentMark 是一个面向智能体（Agent）行为的水印工具，旨在保护基于大语言模型的智能体不被恶意窃取···

AgentEval 开源 免费 可打开

用 .NET 原生工具，给 AI Agent 做全面体检和红队测试。

AgentEval 是一个面向 .NET 生态的 AI Agent 评测工具包，旨在为 .NET 开发者提供与 Python 生态中···

OpenRT 开源 免费 仅开源

一键对多模态大模型发起42+攻击，快速暴露安全漏洞

OpenRT 是一个面向多模态大语言模型（MLLMs）的开源红队测试框架，内置 42 种以上的攻击方法，覆盖···

skillsbench 开源 可打开

给 AI 技能和 agent 打分，看谁真会用工具

SkillsBench 是一个面向 AI 技能（skills）与智能体（agent）的评测基准项目，核心目标是回答两个问···

Veritensor 开源 免费 仅开源

扫描 AI 模型与数据，防投毒、防注入、防泄露

Veritensor 是一个针对 AI 供应链的安全静态分析工具，定位为“AI 制品杀毒软件”和“RAG 防火墙”···

blacksmith 开源 免费 仅开源

多智能体分工，自动跑完渗透测试全流程

Blacksmith 是一个用 TypeScript 编写的开源自动化渗透测试框架，核心思路是用多个 AI Agent 分工协···

Awesome-Video-Generation-Post-Traini··· 开源 免费 仅开源

视频生成后训练与对齐的论文、数据集、评测一站式索引

这是一个面向视频生成模型后训练与对齐方向的论文、数据集和评测基准合集，由 TMLR 收录的综述论文···

Synthid-Bypass 开源 免费 仅开源

实测绕过 Google SynthID 水印，AI 图像溯源攻防参考

Synthid-Bypass 是一个 AI 安全研究项目，展示了如何绕过 Google 在 Nano Banana Pro 图像生成模型···

content-seal 开源 免费 仅开源

给AI生成的音视图文打上隐形来源标记

content-seal 是一个面向生成式 AI 内容溯源的多模态隐形水印框架，覆盖音频、图像、视频和文本四种···

Spiritual-Spell-Red-Teaming 开源 免费 仅开源

用现成越狱提示快速测出大模型安全漏洞

Spiritual-Spell-Red-Teaming 是一个专注于大语言模型越狱（jailbreak）测试的开源仓库，主要针对 ···

ares 开源 免费 仅开源

让红蓝 AI 智能体在真实环境里对打，评测攻防实力

Ares 是一个用 Rust 编写的自主安全运营平台，核心思路是让 LLM 驱动的红队与蓝队智能体在真实基础···

ai-safe2-framework 开源 可打开

给 AI 智能体装上治理与合规操作系统，让 AI 安全落地。

AI SAFE² 是一个面向智能体 AI、非人类身份（NHI）和 AI 集群（Swarm）的治理、风险与合规（GRC）···

Frontier-CS 开源 免费 不稳定

用开放式 CS 难题测出大模型的真实上限

Frontier-CS 是一个面向大语言模型的评测基准，专门考察模型在开放式计算机科学问题上的表现。传统···

LLMRouterBench 开源 免费 仅开源

把各家大模型路由方法拉到同一张考卷上比高低

LLMRouterBench 是面向大模型路由（LLM Routing）的系统性评测基准与统一框架，论文被 ACL 2026 Fi···

awesome-ai-agents-security 开源 免费 仅开源

一张地图看懂AI代理安全生态，快速找到关键资源

这是一个关于AI智能体安全的精选资源列表，旨在绘制AI代理安全生态系统的活地图。它系统整理了该领···

aiewf-eval 开源 免费 仅开源

专测大模型长上下文下的安全表现

aiewf-eval 是 AI 安全评测框架 AIEWF 的评测套件，专注于长上下文场景下的模型行为评估。它解决的···

PostTrainBench 开源 可打开

一张H100，十小时，测出AI代理调教大模型的本事

PostTrainBench 是一个用于评测命令行 AI 编程代理（如 Claude Code、Codex CLI、Gemini CLI）在单···

MLLM-Token-Compression 开源 免费 仅开源

一页看懂多模态大模型Token压缩方案怎么选

MLLM-Token-Compression 是一个围绕多模态大语言模型（MLLM）Token 压缩的综述与资源集合项目。多模···

synbad 开源 免费 仅开源

同一模型多家推理服务商，跑一轮评测看谁更靠谱

synbad 是一个用 TypeScript 编写的 LLM 评测工具，专门用来测试开源推理服务商（inference provid···

WorldLens 开源 免费 仅开源

给自动驾驶世界模型做全科体检，从生成到重建一测到底

WorldLens 是一个面向自动驾驶世界模型的全面评测框架，由 CVPR 2026 Oral 论文提出。它旨在解决当···

scope 开源 免费 仅开源

给 AI Agent 加多层可调安全闸，危险动作拦在门外

Scope 是一个可配置的多层 AI 智能体安全框架，用 Python 编写。它要解决的是当 AI Agent 具备工具···

Awesome-Video-Reasoning 开源 免费 仅开源

视频生成推理论文一站速查，快速摸清研究地图

Awesome-Video-Reasoning 是一个聚焦视频生成模型推理能力的论文资源合集，以清单形式汇总近年相关···

awesome-ai-eval 开源 免费 仅开源

一站式收藏AI评估工具，快速选型不踩坑

这是一个关于AI评估领域的精选资源清单，旨在帮助开发者和研究者系统性地了解如何评估AI系统在真实···