动手复现大模型鲁棒性实验，看清AI脆弱点
本项目是NeurIPS 2022教程《基础模型的根基鲁棒性》的官方配套代码库，由亚马逊云科技等机构的研究者维护。它聚焦于大模型（如CLIP、BERT等）在对抗攻击、分布偏移、恶意提示等场景下的鲁棒性问题，提供了一系列实验代码、数据集和评估工具。项目旨在帮助研究者和开发者理解基础模型在真实世界中的脆弱性，并探索提升模型稳健性的方法。核心能力包括：复现教程中的关键实验、提供多种攻击与防御算法的实现、以及展示如何评估和比较不同模型的鲁棒性。目前处于早期阶段，代码以Jupyter Notebook为主，适合作为学习研究和二次开发的起点。
Adversarial Robustness Toolbox (ART)、RobustBench、Foolbox
robustness-foundation-models 是评测安全领域的开源项目，由 sayakpaul 开发，2022 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 72。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2025-08-23。代码和文件免费获取，无付费版本。
它主要面向的使用场景是：研究大模型对抗攻击与防御方法。同类可对比的替代方案包括 Adversarial Robustness Toolbox (ART)、RobustBench、Foolbox。
上一篇：auto_eval
下一篇：TaskMeAnything
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
