实战演练AI攻防，用CTF挑战掌握模型攻击与LLM漏洞利用
这是一个面向AI/ML安全的CTF挑战集合，旨在通过实战演练帮助安全研究者和开发者理解并攻击AI应用。项目包含针对模型攻击、大语言模型（LLM）和AI代理（Agent）的漏洞利用挑战，覆盖提示注入、模型窃取、数据投毒等典型攻击手法。每个挑战提供独立的场景和靶标，参与者需要利用漏洞获取flag或达成特定目标。项目以Python为主要语言，提供详细的解题思路和参考文档，适合作为AI安全教学、CTF训练或企业安全测试的素材库。其核心价值在于将抽象的AI安全理论转化为可操作的攻防实践，提升对AI系统脆弱性的认知。
Garak、Counterfit、Adversarial Robustness Toolbox (ART)
Machine_Learning_CTF_Challenges 是评测安全领域的开源项目，由 alexdevassy 开发，2021 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 266。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-14。完全免费，可自行部署使用。
它主要面向的使用场景是：高校或培训机构的AI安全课程实践教学。同类可对比的替代方案包括 Garak、Counterfit、Adversarial Robustness Toolbox (ART)。
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
