评测安全

AI-ML-Free-Resources-for-Security-an··· 开源

照着路线图学，从零入门 AI 渗透与提示注入

这是一个面向安全从业者和初学者的 AI/ML 渗透测试学习路线图与资源合集，核心解决的是「想入门 AI···

PersonaMem 开源

测测你的AI有多懂你：动态画像+个性化回复基准

PersonaMem 是 COLM 2025 论文的开源基准测试，用于评估大语言模型在动态用户画像和个性化回复方面···

hash-hop 开源

自动生成超长文本定位题，快速测出模型长上下文真本事

hash-hop 是一个面向大语言模型长上下文能力的评测工具，用 Python 编写并通过 Terraform 管理评测···

autoarena 开源

自动两两PK，快速选出最优LLM或RAG配置

autoarena 是一个用于自动化评估和排名大语言模型（LLM）、RAG 系统及提示词（prompt）的开源工具。···

RagaAI-Catalyst 开源

让多智能体 AI 应用运行透明，调试像看回放一样简单

RagaAI-Catalyst 是一个面向 Agent AI 的可观测性、监控与评估框架，以 Python SDK 为核心，帮助开···

BackdoorLLM 开源

统一评测 LLM 后门攻防，一键复现与对比

BackdoorLLM 是一个面向大语言模型后门攻击与防御的综合基准测试平台，入选 NeurIPS 2025。它解决的···

verifywise 开源

一站式搞定 AI 合规审计，轻松应对欧盟 AI 法案等 20+ 法规。

VerifyWise 是一个面向 AI 治理与 LLM 评估的开源平台，旨在帮助组织应对日益复杂的 AI 法规和标准···

DEFAME 开源

自动核查文本和图片，快速识别虚假信息

DEFAME 是一个用于文本和视觉输入的事实核查系统，旨在自动验证信息真实性。它通过分析文本内容和相···

leva 开源

用线上真实数据回放评测，让 Rails 的 LLM 改动不再靠拍脑袋

leva 是一个面向 Ruby on Rails 应用的 LLM 评测框架，主打用生产数据做评测。它解决的核心问题是：···

baple 开源

用提示学习给医学AI模型植入后门，验证安全漏洞

BAPLe 是 MICCAI 2024 的官方开源代码，研究医学基础模型的后门攻击方法。它利用提示学习（Prompt ···

axbench 开源

给LLM解释方法打分，选出真正有用的那个

axbench 是斯坦福 NLP 团队推出的 Python 库，用于系统化评估大语言模型可解释性方法的实际效用。它···

Awesome-LLMSecOps 开源

一库在手，LLM 安全运营全链路资源速查

Awesome-LLMSecOps 是一个专注于大语言模型（LLM）与智能体（Agent）安全运营的精选资源列表。它系···

WindowsAgentArena 开源

在真实 Windows 环境中，一键测试和对比 AI 智能体的任务完成能力。

Windows Agent Arena (WAA) 是一个用于测试和基准测试多模态 AI 智能体的可扩展操作系统平台。它解···

Awesome-KV-Cache-Compression 开源

一份论文清单，搞定大模型KV Cache压缩选型

Awesome-KV-Cache-Compression 是一个持续更新的 KV Cache 压缩论文精选列表，旨在为研究者和工程师···

promptpex 开源

自动生成提示词测试用例，让 Prompt 迭代更稳更高效

promptpex 是一个专注于提示词（Prompt）测试生成的开源项目，旨在为 LLM 应用开发者提供系统化的提···

Lookback-Lens 开源

只看注意力图，就能揪出并压制模型胡编乱造

Lookback-Lens 是 EMNLP 2024 论文的官方代码实现，专注于检测和缓解大语言模型中的上下文幻觉问题···

Awesome-Attention-Heads 开源

一站式读懂大模型注意力头，搞懂模型在想什么

这是一个关于大语言模型注意力头可解释性的精选资源库与综述项目。它系统性地整理了针对LLM中注意力···

Awesome-Jailbreak-on-LLMs 开源

一站式掌握LLM越狱攻击最新研究，快速上手安全测试

这是一个聚焦大语言模型越狱攻击方法的精选资源库，系统整理了学术界和工业界关于LLM安全漏洞的最新···

ChronoMagic-Bench 开源

测文生视频的时间演化能力，让模型从动起来到变起来

ChronoMagic-Bench 是一个用于评估文生视频模型在时间延展与形态变化能力的基准测试集，由 NeurIPS···

appworld 开源

在真实模拟世界里，测试你的 AI 智能体会不会办事。

AppWorld 是一个用于评估函数调用与交互式编码智能体的可控应用与人物世界基准测试平台，源自 ACL ···

vidore-benchmark 开源

给文档检索模型打分，看谁找图找得准

ViDoRe 是一个针对视觉文档检索（Vision Document Retrieval）的基准测试项目，源自 ColPali 论文。···

Loong 开源

测出长文本大模型真实力，必须跨文档推理才能答对

Loong 是 EMNLP 2024 的 Oral 论文项目，专注于长上下文大语言模型（LLM）的评测基准。它针对现有长···

litmus 开源

拖拽式搭建 LLM 测试，快速看清模型表现

Litmus 是一个面向生成式 AI 应用开发的 LLM 测试与评估平台。它通过友好的用户界面，帮助开发者系···

LiveBench 开源

每月换新题，测出模型真实水平

LiveBench 是一个面向大语言模型的评测基准，核心卖点是「无污染」与「持续更新」。传统静态基准（···