red-teaming

本站收录 28 个带「red-teaming」标签的 AI 开源项目

CL4R1T4S这是一个收集并公开各大AI系统(如ChatGPT、Claude、Gemini、Grok、Perplexity、Cursor等)泄露的系统提示词(system p★ 53,000promptfoopromptfoo 是一个开源的 LLM 评估与红队测试框架,用于系统化测试提示词、智能体(agents)和 RAG 应用。它解决了 AI 应用开发中缺乏标准化★ 27,216L1B3RT4SL1B3RT4S 是一个以幽默和反讽方式呈现的提示词集合项目,旨在通过戏仿“越狱”提示词的形式,展示 AI 提示词工程的边界与可能性。它收集了大量看似“解放”A★ 23,341CairnCairn 是一个基于 Python 的通用人工智能状态空间搜索引擎,专门用于自主渗透测试。它利用大型语言模型(LLM)驱动智能体在复杂的网络环境中进行探索,自★ 5,167CyberStrikeCyberStrike 是一个开源的 AI 增强型攻击性安全测试平台,旨在将大语言模型(LLM)能力与自动化渗透测试相结合,帮助安全团队高效执行红队演练。它内置★ 3,580pentestagentPentestAgent 是一个面向黑盒安全测试的 AI 智能体框架,专为漏洞赏金、红队和渗透测试工作流设计。它解决的核心问题是传统渗透测试依赖人工经验、效率低★ 3,298AISafetyHot-HubAISafetyHot-Hub 是一个面向 AI 安全领域的每日精选与论文清单仓库,以 Markdown、BibTeX 和 JSON 三种格式同步维护,方便研究★ 2,127aktoAkto 是一个面向企业团队的 AI 安全测试与治理平台,专注于保护 AI 代理、MCP 服务、LLM 应用及生成式 AI 系统。它解决的核心问题是 AI 应用★ 1,548agentic-radaragentic-radar 是一个面向 LLM 智能体工作流的安全扫描器,用 Python 编写并提供 CLI。它要解决的问题是:当开发者用 LangGraph★ 1,070CybermesCybermes 是一个面向攻击性安全场景的自主智能体框架,专为漏洞赏金、红队演练和渗透测试设计。它由 Hermes Agent 驱动,结合专门的安全推理技能与★ 1,027safelabs-evalsafelabs-eval 是一个面向 AI 智能体的红队测试与评测框架,核心目标是把 OWASP ASI(Agentic Security Initiativ★ 830rhesisRhesis 是一个面向 AI 团队的协作层基础设施,旨在连接领域专家与工程师,共同优化智能体(Agent)行为。它解决的核心问题是:AI 智能体的行为往往由工★ 404agentsealAgentSeal 是一个面向 AI 智能体的安全工具包,主要解决 AI Agent 在运行时面临的安全风险,包括恶意技能、MCP 配置漏洞、供应链攻击、提示注★ 385AIGoatAIGoat 是一个开源 AI 安全演练场,面向大模型红队测试与安全学习。它把提示词注入、RAG 数据投毒、AI Agent 越权、MCP 安全以及 OWASP★ 302OpenRTOpenRT 是一个面向多模态大语言模型(MLLMs)的开源红队测试框架,内置 42 种以上的攻击方法,覆盖提示注入、越狱、对抗性样本等常见安全威胁。它旨在解决★ 281dodoguardDodoGuard 是一个面向 AI Agent 全生命周期的开源安全防护工具,用 TypeScript 编写,主要解决 Dify、Coze、FastGPT、n★ 275OpenARTOpenART 是一个面向自主 AI 智能体(Agent)的开源安全评测框架,专注在动态、长周期、有状态的环境中检验智能体的安全性与鲁棒性。随着 Agent 能★ 275guardanaGuardana 是一个面向 AI 安全验证的开源工具,用可复现的证据支撑模型发布决策。它把模型制品、在线推理端点、MCP 服务器以及录制下来的智能体运行轨迹都★ 225Awesome-LLMSecOpsAwesome-LLMSecOps 是一个专注于大语言模型(LLM)与智能体(Agent)安全运营的精选资源列表。它系统性地整理了 LLM 安全领域的威胁建模、★ 170XSafeClawXSafeClaw 是复旦大学开源的多智能体安全评测平台,专注于检测和防御针对 LLM 智能体的安全威胁。它解决的核心问题是:随着 Agent 被赋予工具调用和★ 167Awesome-Embodied-AI-Safety这是一个关于具身AI安全领域的综述性开源项目,汇集了500多篇相关论文,系统梳理了具身AI在感知、认知、规划、交互和智能体系统等层面面临的风险、攻击与防御方法。★ 164AgentEvalAgentEval 是一个面向 .NET 生态的 AI Agent 评测工具包,旨在为 .NET 开发者提供与 Python 生态中 RAGAS、PromptF★ 161Awesome-LLM-Red-TeamingAwesome-LLM-Red-Teaming 是一个精选资源列表,专注于大语言模型(LLM)的红队测试领域。它系统整理了相关的训练材料、研究论文、工具和最佳实★ 148nemo-helixNeMo Helix 是 NVIDIA 推出的 AI Agent 全生命周期优化工具,聚焦于让上线的智能体更快、更准、更安全。它面向构建和运维 LLM Agen★ 145autoguardrailsAutoGuardrails 是一个面向 LLM 护栏的 alignment-research 脚手架,采用 autoresearch 风格,在单一的 poli★ 129awesome-ai-agents-security这是一个关于AI智能体安全的精选资源列表,旨在绘制AI代理安全生态系统的活地图。它系统整理了该领域的关键主题,包括自主代理、生成式AI、网络安全、护栏、越狱攻击★ 80ASTRAASTRA 是亚马逊 Nova AI 安全挑战赛的冠军项目,作为攻击方团队,在实时对抗评估中击败了来自全球顶尖大学的防御团队。该项目专注于生成对抗性攻击,用于测★ 78OversightOversight 是一个完全模块化的 LLM 逆向工程、红队测试与漏洞研究框架。它主要面向安全研究人员和 AI 开发者,解决大语言模型在部署后缺乏系统性安全评★ 55