llm-security 第 1 页

本站收录 83 个带「llm-security」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)

iFixAiiFixAi 是一个面向 AI Agent 的独立审计工具,旨在快速回答 AI Agent 经济中最关键的问题:Agent 是否在按预期工作?它支持由人类或 A★ 45,738garakgarak 是一个用于检测大语言模型(LLM)漏洞的开源扫描器,由 NVIDIA 团队维护。它通过自动生成大量攻击性提示(如提示注入、越狱、数据泄露、幻觉诱导等★ 10,033AI-Infra-GuardAI-Infra-Guard 是一个全栈 AI 红队测试平台,旨在系统性评估和加固 AI 生态系统的安全性。它解决了 AI 应用从模型、代理、技能到基础设施各层★ 7,511GuardrailsNeMo Guardrails 是 NVIDIA 开源的 LLM 对话系统安全护栏工具包,旨在为基于大语言模型的对话应用添加可编程的、可组合的安全约束。它解决的★ 7,499giskard-ossGiskard 是一个面向 LLM 智能体和应用的自动化评估与测试开源库。它解决了大模型应用上线前缺乏系统性质量保障的问题,提供从单元测试到红队攻击的全链路测试★ 5,952Agentic-Bug-HunterAgentic-Bug-Hunter 是一个面向漏洞赏金(Bug Bounty)场景的 AI 自动化侦察与测试工具包,用 Python 编写,支持 Hacker★ 5,895blaBLA(Blind LLM Agents)是一个用 TypeScript 编写的对抗性防御工具,专门用于对抗 AI 逆向工程代理(如 REA)对二进制文件、El★ 5,779nononono 是一个用 Rust 编写的 AI 智能体沙箱工具,旨在让开发者以零配置、零延迟的方式运行任何 AI 智能体。它解决了 AI 智能体在代码执行、工具调用★ 4,989jailbreak_llmsjailbreak_llms 是一个专注于大语言模型越狱攻击的数据集项目,收录了来自 Reddit、Discord、网站及开源数据集的 15,140 条 Cha★ 3,893AI-Engineer-HeadquartersAI-Engineer-Headquarters 是一个面向 AI 工程师的知识库与工具集,以 Jupyter Notebook 形式组织,汇集了构建机器学习模★ 3,780CyberStrikeCyberStrike 是一个开源的 AI 增强型攻击性安全测试平台,旨在将大语言模型(LLM)能力与自动化渗透测试相结合,帮助安全团队高效执行红队演练。它内置★ 3,580llm-guardllm-guard 是一个面向大语言模型交互的安全工具包,旨在检测和缓解各类安全威胁,如提示注入、越狱攻击、敏感信息泄露等。它通过输入输出验证、内容过滤、异常检★ 3,216beelzebubbeelzebub 是一个基于 Go 语言开发的安全低代码欺骗运行时框架,利用 AI 技术实现系统虚拟化。它旨在解决传统蜜罐系统部署复杂、难以模拟真实系统环境的★ 2,238ADRADR 是一个面向企业级 AI 智能体的安全防护框架,由 Uber 部署并开源。它解决的核心问题是:随着 AI Agent 在企业中承担越来越多的自动化任务,其★ 2,135AISafetyHot-HubAISafetyHot-Hub 是一个面向 AI 安全领域的每日精选与论文清单仓库,以 Markdown、BibTeX 和 JSON 三种格式同步维护,方便研究★ 2,127agentic_securityAgentic Security 是一个面向 LLM 应用的漏洞扫描与 AI 红队工具包。它解决的是大模型应用上线前的安全评估问题,通过自动化模糊测试和攻击模拟★ 2,046FuzzyAIFuzzyAI 是一个自动化的大语言模型模糊测试工具,旨在帮助开发者和安全研究人员发现并缓解其 LLM API 中的潜在越狱漏洞。它通过生成大量恶意或边界输入,★ 1,606Dark-MoonDark-Moon 是一个自主 AI 渗透测试引擎,旨在持续对 Web、云、身份、CI/CD、IaC、数据库、Active Directory、Kubernet★ 1,238agentic-radaragentic-radar 是一个面向 LLM 智能体工作流的安全扫描器,用 Python 编写并提供 CLI。它要解决的问题是:当开发者用 LangGraph★ 1,070CybermesCybermes 是一个面向攻击性安全场景的自主智能体框架,专为漏洞赏金、红队演练和渗透测试设计。它由 Hermes Agent 驱动,结合专门的安全推理技能与★ 1,027pipelockpipelock 是一个开源的 AI 智能体防火墙,专注于 MCP(模型上下文协议)安全和智能体出口流量管控。它解决了 AI 智能体在调用外部工具和服务时面临的★ 994SurrogateShieldSurrogateShield 是面向大语言模型与 RAG 流水线的隐私防护中间件,核心思路是在请求进入模型前识别并替换敏感个人信息,在模型返回后再按映射还原,★ 969EasyJailbreakEasyJailbreak 是一个易用的 Python 框架,用于生成对抗性越狱提示词,以评估和提升大语言模型的安全性。它解决了安全研究人员在构造越狱攻击时缺乏★ 946safelabs-evalsafelabs-eval 是一个面向 AI 智能体的红队测试与评测框架,核心目标是把 OWASP ASI(Agentic Security Initiativ★ 830ThinkWatchThinkWatch 是一个面向企业的 AI 安全堡垒机,为 AI API 和 MCP(模型上下文协议)访问提供统一代理层。它解决企业在接入多家 AI 服务(如★ 817code-on-incuscode-on-incus 是一个为 AI 编程代理提供隔离运行环境的开源工具。它利用 Incus 系统容器,为每个 AI 代理分配独立的机器,赋予其 root★ 787TracekitTracekit 是一个面向 AI Agent 的可审计追踪与安全控制工具,核心解决 Agent 执行过程不透明、行为难以追责的问题。它通过防篡改的追踪记录,把★ 726arcjet-jsArcjet 是一个面向 AI 应用和智能体的运行时安全库,专为 JavaScript/TypeScript 生态设计。它解决的核心问题是 AI 应用在交互过程★ 701vestigeVestige 是一个面向 AI 智能体的本地确定性安全内核,用 Rust 编写。它要解决的问题是:当智能体自主执行操作、写入记忆时,开发者很难知道它到底做了什★ 660AdrianAdrian 是一个开源的 AI 智能体安全运行时工具,专门用于监控和控制 AI 智能体的行为。它解决的是智能体在执行任务时可能出现的恶意工具调用、提示注入攻击★ 594agent-opforagent-opfor 是一个开源的 AI 智能体对抗模拟工具,专注于对 AI 智能体和 MCP 服务器进行红队测试。它解决了 AI 应用在部署前缺乏系统性安全★ 585vigil-llmVigil 是一个专注于检测大语言模型(LLM)输入安全风险的开源基础设施工具。它主要解决提示注入(prompt injection)、越狱(jailbreak★ 511prismorprismor 是一个自托管的 AI 智能体运行时控制平面,专注于在工具调用执行前提供安全防护。它解决了 AI 代理在自主执行过程中可能引发的安全问题,如秘密泄★ 493awesome-MLSecOpsawesome-MLSecOps 是一个精选的 MLSecOps(机器学习安全运营)工具与资源清单,旨在帮助安全工程师、ML 工程师和 AI 团队系统性地保障机★ 492AgentHoundAgentHound 是一个针对 AI 智能体基础设施的进攻性安全框架,旨在解决 AI 代理、MCP 服务、A2A 协议及 AI 网关等新型攻击面缺乏系统化安全★ 464agentggagentgg 是一款开源的智能体式静态应用安全测试(SAST)工具,由 100 多个 AI 安全智能体组成,可对任意代码仓库或 PR diff 进行自动化安全★ 464Awesome-Offensive-AI-Agentic-Landscape这是一个面向 AI 攻防安全领域的资源汇总清单,系统整理了开源项目、学术论文、能力基准测试以及国内外商业方案,覆盖 AI 渗透测试、大模型红队测试、自主攻击型智★ 463kiji-proxykiji-proxy 是一个用 Go 编写的轻量级隐私代理,专门用于转发 OpenAI API 请求。它解决了直接调用 OpenAI 时可能存在的隐私泄露问题,★ 453agentsealAgentSeal 是一个面向 AI 智能体的安全工具包,主要解决 AI Agent 在运行时面临的安全风险,包括恶意技能、MCP 配置漏洞、供应链攻击、提示注★ 385LLMVaultLLMVault 是一个专为 AI 安全设计的开源训练平台,基于 OWASP LLM Top 10 标准构建,帮助安全工程师、开发者和研究人员学习并实践大语言模★ 356privacy-filterprivacy-filter 是一个用 Go 编写的 LLM 隐私网关,专注于在毫秒级延迟内对 PII(个人身份信息)和密钥进行脱敏处理。它解决了 AI 应用中★ 341AIGoatAIGoat 是一个开源 AI 安全演练场,面向大模型红队测试与安全学习。它把提示词注入、RAG 数据投毒、AI Agent 越权、MCP 安全以及 OWASP★ 302awesome-agent-skills-security这是一个聚焦 AI Agent 技能(Skill)与工具调用安全的资源合集项目,系统整理了攻击手法、防御方案、安全框架与评测基准。随着 Agent 通过 MCP★ 288dodoguardDodoGuard 是一个面向 AI Agent 全生命周期的开源安全防护工具,用 TypeScript 编写,主要解决 Dify、Coze、FastGPT、n★ 275OpenARTOpenART 是一个面向自主 AI 智能体(Agent)的开源安全评测框架,专注在动态、长周期、有状态的环境中检验智能体的安全性与鲁棒性。随着 Agent 能★ 275juliusJulius 是一个用 Go 编写的 LLM 服务识别工具,核心功能是把一个 IP:Port 快速翻译成具体的 AI 服务类型,例如 Ollama、vLLM、L★ 256agent-auditagent-audit 是一个针对 LLM 智能体的静态安全扫描工具,主要解决 AI Agent 应用中的安全漏洞问题,如提示注入、MCP 配置错误和污点分析。★ 245Doberman-CoreDoberman-Core 是一个面向 AI 智能体的安全框架,专注于解决 LLM 应用中的安全防护问题。它提供提示注入防御、运行时策略执行、工具调用权限控制、★ 244Doberman-CoreDoberman-Core 是一个面向 AI 代理的运行时安全防护库,定位为“AI 的看门狗”。它解决的是 LLM 应用在输入、输出和工具调用环节缺乏实时管控的★ 243humanboundHumanbound 是一个开源的对抗性测试引擎,为 AI 智能体提供 SDK 和命令行工具,用于发现和修复智能体中的安全漏洞与逻辑缺陷。它解决的核心问题是:A★ 239