llm-security
本站收录 69 个带「llm-security」标签的 AI 开源项目（按 GitHub 星标从高到低，此处展示前 50 个）
llm-app开箱即用的云端模板，快速搭建 RAG、AI 流水线与企业级实时数据搜索应用。Docker 友好，可实时同步 SharePoint、Google Drive、S3★ 58,870
iFixAiiFixAi 是一个面向 AI Agent 的独立审计工具，旨在快速回答 AI Agent 经济中最关键的问题：Agent 是否在按预期工作？它支持由人类或 A★ 16,623
garakgarak 是一个用于检测大语言模型（LLM）漏洞的开源扫描器，由 NVIDIA 团队维护。它通过自动生成大量攻击性提示（如提示注入、越狱、数据泄露、幻觉诱导等★ 9,385
GuardrailsNeMo Guardrails 是 NVIDIA 开源的 LLM 对话系统安全护栏工具包，旨在为基于大语言模型的对话应用添加可编程的、可组合的安全约束。它解决的★ 7,219
AI-Infra-GuardAI-Infra-Guard 是一个全栈 AI 红队测试平台，旨在系统性评估和加固 AI 生态系统的安全性。它解决了 AI 应用从模型、代理、技能到基础设施各层★ 6,636
giskard-ossGiskard 是一个面向 LLM 智能体和应用的自动化评估与测试开源库。它解决了大模型应用上线前缺乏系统性质量保障的问题，提供从单元测试到红队攻击的全链路测试★ 5,846
nononono 是一个用 Rust 编写的 AI 智能体沙箱工具，旨在让开发者以零配置、零延迟的方式运行任何 AI 智能体。它解决了 AI 智能体在代码执行、工具调用★ 4,270
jailbreak_llmsjailbreak_llms 是一个专注于大语言模型越狱攻击的数据集项目，收录了来自 Reddit、Discord、网站及开源数据集的 15,140 条 Cha★ 3,826
AI-Engineer-HeadquartersAI-Engineer-Headquarters 是一个面向 AI 工程师的知识库与工具集，以 Jupyter Notebook 形式组织，汇集了构建机器学习模★ 3,689
llm-guardllm-guard 是一个面向大语言模型交互的安全工具包，旨在检测和缓解各类安全威胁，如提示注入、越狱攻击、敏感信息泄露等。它通过输入输出验证、内容过滤、异常检★ 3,212
CyberStrikeCyberStrike 是一个开源的 AI 增强型攻击性安全测试平台，旨在将大语言模型（LLM）能力与自动化渗透测试相结合，帮助安全团队高效执行红队演练。它内置★ 2,900
beelzebubbeelzebub 是一个基于 Go 语言开发的安全低代码欺骗运行时框架，利用 AI 技术实现系统虚拟化。它旨在解决传统蜜罐系统部署复杂、难以模拟真实系统环境的★ 2,188
agentic_securityAgentic Security 是一个面向 LLM 应用的漏洞扫描与 AI 红队工具包。它解决的是大模型应用上线前的安全评估问题，通过自动化模糊测试和攻击模拟★ 2,013
ADRADR 是一个面向企业级 AI 智能体的安全防护框架，由 Uber 部署并开源。它解决的核心问题是：随着 AI Agent 在企业中承担越来越多的自动化任务，其★ 1,614
FuzzyAIFuzzyAI 是一个自动化的大语言模型模糊测试工具，旨在帮助开发者和安全研究人员发现并缓解其 LLM API 中的潜在越狱漏洞。它通过生成大量恶意或边界输入，★ 1,580
Dark-MoonDark-Moon 是一个自主 AI 渗透测试引擎，旨在持续对 Web、云、身份、CI/CD、IaC、数据库、Active Directory、Kubernet★ 981
EasyJailbreakEasyJailbreak 是一个易用的 Python 框架，用于生成对抗性越狱提示词，以评估和提升大语言模型的安全性。它解决了安全研究人员在构造越狱攻击时缺乏★ 914
pipelockpipelock 是一个开源的 AI 智能体防火墙，专注于 MCP（模型上下文协议）安全和智能体出口流量管控。它解决了 AI 智能体在调用外部工具和服务时面临的★ 913
CybermesCybermes 是一个面向攻击性安全场景的自主智能体框架，专为漏洞赏金、红队演练和渗透测试设计。它由 Hermes Agent 驱动，结合专门的安全推理技能与★ 900
ThinkWatchThinkWatch 是一个面向企业的 AI 安全堡垒机，为 AI API 和 MCP（模型上下文协议）访问提供统一代理层。它解决企业在接入多家 AI 服务（如★ 815
code-on-incuscode-on-incus 是一个为 AI 编程代理提供隔离运行环境的开源工具。它利用 Incus 系统容器，为每个 AI 代理分配独立的机器，赋予其 root★ 732
arcjet-jsArcjet 是一个面向 AI 应用和智能体的运行时安全库，专为 JavaScript/TypeScript 生态设计。它解决的核心问题是 AI 应用在交互过程★ 684
agent-opforagent-opfor 是一个开源的 AI 智能体对抗模拟工具，专注于对 AI 智能体和 MCP 服务器进行红队测试。它解决了 AI 应用在部署前缺乏系统性安全★ 582
AdrianAdrian 是一个开源的 AI 智能体安全运行时工具，专门用于监控和控制 AI 智能体的行为。它解决的是智能体在执行任务时可能出现的恶意工具调用、提示注入攻击★ 577
vigil-llmVigil 是一个专注于检测大语言模型（LLM）输入安全风险的开源基础设施工具。它主要解决提示注入（prompt injection）、越狱（jailbreak★ 497
awesome-MLSecOpsawesome-MLSecOps 是一个精选的 MLSecOps（机器学习安全运营）工具与资源清单，旨在帮助安全工程师、ML 工程师和 AI 团队系统性地保障机★ 473
AgentHoundAgentHound 是一个针对 AI 智能体基础设施的进攻性安全框架，旨在解决 AI 代理、MCP 服务、A2A 协议及 AI 网关等新型攻击面缺乏系统化安全★ 441
kiji-proxykiji-proxy 是一个用 Go 编写的轻量级隐私代理，专门用于转发 OpenAI API 请求。它解决了直接调用 OpenAI 时可能存在的隐私泄露问题，★ 436
prismorprismor 是一个自托管的 AI 智能体运行时控制平面，专注于在工具调用执行前提供安全防护。它解决了 AI 代理在自主执行过程中可能引发的安全问题，如秘密泄★ 379
agentsealAgentSeal 是一个面向 AI 智能体的安全工具包，主要解决 AI Agent 在运行时面临的安全风险，包括恶意技能、MCP 配置漏洞、供应链攻击、提示注★ 377
agentggagentgg 是一款开源的智能体式静态应用安全测试（SAST）工具，由 100 多个 AI 安全智能体组成，可对任意代码仓库或 PR diff 进行自动化安全★ 377
privacy-filterprivacy-filter 是一个用 Go 编写的 LLM 隐私网关，专注于在毫秒级延迟内对 PII（个人身份信息）和密钥进行脱敏处理。它解决了 AI 应用中★ 337
LLMVaultLLMVault 是一个专为 AI 安全设计的开源训练平台，基于 OWASP LLM Top 10 标准构建，帮助安全工程师、开发者和研究人员学习并实践大语言模★ 326
Awesome-Offensive-AI-Agentic-Landscape这是一个面向 AI 攻防安全领域的资源汇总清单，系统整理了开源项目、学术论文、能力基准测试以及国内外商业方案，覆盖 AI 渗透测试、大模型红队测试、自主攻击型智★ 311
Doberman-CoreDoberman-Core 是一个面向 AI 智能体的安全框架，专注于解决 LLM 应用中的安全防护问题。它提供提示注入防御、运行时策略执行、工具调用权限控制、★ 277
Doberman-CoreDoberman-Core 是一个面向 AI 代理的运行时安全防护库，定位为“AI 的看门狗”。它解决的是 LLM 应用在输入、输出和工具调用环节缺乏实时管控的★ 277
agent-auditagent-audit 是一个针对 LLM 智能体的静态安全扫描工具，主要解决 AI Agent 应用中的安全漏洞问题，如提示注入、MCP 配置错误和污点分析。★ 233
llamatorllamator 是一个用于测试聊天机器人和生成式 AI 系统的红队（Red Teaming）Python 框架。它主要解决 LLM 应用在安全性和可靠性方面的★ 223
safelabs-evalsafelabs-eval 是一个面向 AI 智能体的红队测试与评测框架，核心目标是把 OWASP ASI（Agentic Security Initiativ★ 220
node9-proxynode9-proxy 是一个面向 AI Agent 时代的执行安全层，为自主 AI 代理提供确定性的“Sudo”治理和审计日志。它解决的是当前 LLM 代理在★ 216
phantasmphantasm 是一套用于构建“人在回路”审批层的工具包，旨在实时监控和引导 AI 代理的工作流程。它解决了 AI 代理在自动化执行任务时缺乏人工监督和干预的★ 196
www-project-agent-memory-guardAgent Memory Guard 是 OWASP 基金会下的一个开源项目，专注于解决 AI 智能体（Agent）的记忆安全问题。随着大语言模型（LLM）驱动★ 183
prompt-guardprompt-guard 是一个面向 AI 智能体的高级提示注入防御系统，旨在解决大语言模型应用面临的提示注入攻击问题。它提供多语言检测能力，能够识别多种语言的★ 178
awesome-cyber-ai-arsenal这是一个精选的开源工具清单，汇集了进攻性安全、防御性安全以及AI/LLM安全相关的资源。它旨在解决安全从业者在AI时代工具分散、信息过载的问题，通过分类整理，帮★ 174
XSafeClawXSafeClaw 是复旦大学开源的多智能体安全评测平台，专注于检测和防御针对 LLM 智能体的安全威胁。它解决的核心问题是：随着 Agent 被赋予工具调用和★ 164
humanboundHumanbound 是一个开源的对抗性测试引擎，为 AI 智能体提供 SDK 和命令行工具，用于发现和修复智能体中的安全漏洞与逻辑缺陷。它解决的核心问题是：A★ 161
Awesome-LLMSecOpsAwesome-LLMSecOps 是一个专注于大语言模型（LLM）与智能体（Agent）安全运营的精选资源列表。它系统性地整理了 LLM 安全领域的威胁建模、★ 161
dodoguardDodoGuard 是一个面向 AI Agent 全生命周期的开源安全防护工具，用 TypeScript 编写，主要解决 Dify、Coze、FastGPT、n★ 158
fast-llm-security-guardrailsfast-llm-security-guardrails 是一个面向 AI Agent 的快速安全防护层（Trust Layer），旨在解决 LLM 应用中的提★ 155
ai-safe2-frameworkAI SAFE² 是一个面向智能体 AI、非人类身份（NHI）和 AI 集群（Swarm）的治理、风险与合规（GRC）操作系统，同时集成了安全能力。它试图解决 ★ 143