prompt-injection 第 1 页

本站收录 66 个带「prompt-injection」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)

iFixAiiFixAi 是一个面向 AI Agent 的独立审计工具,旨在快速回答 AI Agent 经济中最关键的问题:Agent 是否在按预期工作?它支持由人类或 A★ 45,738AI-Infra-GuardAI-Infra-Guard 是一个全栈 AI 红队测试平台,旨在系统性评估和加固 AI 生态系统的安全性。它解决了 AI 应用从模型、代理、技能到基础设施各层★ 7,511superagentSuperagent 是一个专注于 AI 应用安全的开源库,主要解决提示注入、数据泄露和有害输出等安全问题。它提供轻量级 SDK,可嵌入现有 AI 应用,通过检★ 6,874llm-guardllm-guard 是一个面向大语言模型交互的安全工具包,旨在检测和缓解各类安全威胁,如提示注入、越狱攻击、敏感信息泄露等。它通过输入输出验证、内容过滤、异常检★ 3,216ADRADR 是一个面向企业级 AI 智能体的安全防护框架,由 Uber 部署并开源。它解决的核心问题是:随着 AI Agent 在企业中承担越来越多的自动化任务,其★ 2,135AISafetyHot-HubAISafetyHot-Hub 是一个面向 AI 安全领域的每日精选与论文清单仓库,以 Markdown、BibTeX 和 JSON 三种格式同步维护,方便研究★ 2,127rebuffRebuff 是一个专注于检测和防御大语言模型提示注入攻击的开源工具。它解决的是 LLM 应用面临的安全问题,即恶意用户通过精心构造的输入提示,诱导模型执行非预★ 1,533promptmappromptmap 是一款针对自定义 LLM 应用的安全扫描器,帮助开发者在部署前发现提示注入等安全漏洞。它通过自动化生成恶意提示模板,对应用进行黑盒测试,模拟★ 1,296pojia-nextpojia-next 是一个零依赖的 Python 脚本工具,用于一键替换六款 AI 编程客户端(DSH、WorkBuddy、ZCode、Codex、Curso★ 1,158hol-guardhol-guard 是一个面向 AI 智能体的开源防病毒工具,旨在解决 AI 代理在运行时面临的多类安全威胁。它能够实时拦截高风险工具调用、敏感凭据访问、提示注★ 1,107agentdojoagentdojo 是一个用于评估 LLM 智能体攻击与防御的动态环境。它解决的核心问题是:随着 LLM 智能体被赋予调用外部工具和访问敏感数据的权限,针对这些★ 1,036langkitLangKit 是一个面向大语言模型(LLM)的开源监控工具包,专注于从提示词和模型响应中提取信号,以保障应用的安全性和可靠性。它解决了 LLM 在生产环境中缺★ 1,006pipelockpipelock 是一个开源的 AI 智能体防火墙,专注于 MCP(模型上下文协议)安全和智能体出口流量管控。它解决了 AI 智能体在调用外部工具和服务时面临的★ 994skylosSkylos 是一个开源的本地优先 PR 扫描工具,旨在合并代码前自动发现死代码、安全漏洞、密钥泄露、质量回退以及 AI 生成代码的常见错误。它通过静态分析和 ★ 944gpt_jailbreak_status这是一个追踪 OpenAI GPT 语言模型越狱状态的开源项目,旨在实时更新 GPT 系列模型(如 ChatGPT)被越狱(即绕过安全限制)的进展。项目以 HT★ 931hanshuang-codexhanshuang-codex 是一个用 Python 编写的开源实验项目,主要针对 GPT 6.0 与 workbuddyV4.1flash 等大模型开展“破★ 917safelabs-evalsafelabs-eval 是一个面向 AI 智能体的红队测试与评测框架,核心目标是把 OWASP ASI(Agentic Security Initiativ★ 830vestigeVestige 是一个面向 AI 智能体的本地确定性安全内核,用 Rust 编写。它要解决的问题是:当智能体自主执行操作、写入记忆时,开发者很难知道它到底做了什★ 660mumu(μ)是一个用 TypeScript 编写的编程智能体(coding agent),核心理念是“先思考再行动”。它通过一个轻量、快速的裁判模型来处理日常的简★ 605AdrianAdrian 是一个开源的 AI 智能体安全运行时工具,专门用于监控和控制 AI 智能体的行为。它解决的是智能体在执行任务时可能出现的恶意工具调用、提示注入攻击★ 594agent-opforagent-opfor 是一个开源的 AI 智能体对抗模拟工具,专注于对 AI 智能体和 MCP 服务器进行红队测试。它解决了 AI 应用在部署前缺乏系统性安全★ 585vigil-llmVigil 是一个专注于检测大语言模型(LLM)输入安全风险的开源基础设施工具。它主要解决提示注入(prompt injection)、越狱(jailbreak★ 511prismorprismor 是一个自托管的 AI 智能体运行时控制平面,专注于在工具调用执行前提供安全防护。它解决了 AI 代理在自主执行过程中可能引发的安全问题,如秘密泄★ 493awesome-MLSecOpsawesome-MLSecOps 是一个精选的 MLSecOps(机器学习安全运营)工具与资源清单,旨在帮助安全工程师、ML 工程师和 AI 团队系统性地保障机★ 492AutoHarnessAutoHarness 是一个面向 AI 智能体的自动化 Harness 工程工具,旨在解决智能体在复杂任务中的可控性、安全性和可观测性问题。它通过自动生成和优★ 469SponsioSponsio 是一个面向概率性 AI 智能体的确定性安全解决方案框架。它通过为智能体提供可验证的安全护栏、运行时监控和技能沙箱,解决大模型输出不可控、工具调用★ 455agentsealAgentSeal 是一个面向 AI 智能体的安全工具包,主要解决 AI Agent 在运行时面临的安全风险,包括恶意技能、MCP 配置漏洞、供应链攻击、提示注★ 385JailbreakHubJailbreakHub 是一个面向大语言模型安全评测的开源研究资源库,主要收集和整理用于测试模型安全过滤机制的对抗性提示词与攻击样本。项目解决的核心问题是:安★ 373LLMVaultLLMVault 是一个专为 AI 安全设计的开源训练平台,基于 OWASP LLM Top 10 标准构建,帮助安全工程师、开发者和研究人员学习并实践大语言模★ 356ZORG-Jailbreak-Prompt-TextZORG-Jailbreak-Prompt-Text 是一个专注于 AI 对话越狱提示词的开源项目,旨在帮助用户绕过 ChatGPT、Gemini、DeepSe★ 317hello-agent-systemHello Agent System 是一个面向企业级 AI Agent 系统设计的中英双语实战课程,用 17 节课从零搭建生产环境所需的每一层。它不是教你调用★ 316AIGoatAIGoat 是一个开源 AI 安全演练场,面向大模型红队测试与安全学习。它把提示词注入、RAG 数据投毒、AI Agent 越权、MCP 安全以及 OWASP★ 302awesome-agent-skills-security这是一个聚焦 AI Agent 技能(Skill)与工具调用安全的资源合集项目,系统整理了攻击手法、防御方案、安全框架与评测基准。随着 Agent 通过 MCP★ 288Awesome-Multimodal-Prompts这是一个面向多模态大模型提示词的开源合集,主要收录 GPT-4V 与 DALL-E 3 的提示词示例与写法模板,帮助用户把图像理解与图像生成能力用得更充分。项目★ 288dodoguardDodoGuard 是一个面向 AI Agent 全生命周期的开源安全防护工具,用 TypeScript 编写,主要解决 Dify、Coze、FastGPT、n★ 275OpenARTOpenART 是一个面向自主 AI 智能体(Agent)的开源安全评测框架,专注在动态、长周期、有状态的环境中检验智能体的安全性与鲁棒性。随着 Agent 能★ 275aegisaegis 是一个面向大型语言模型的自加固防火墙,属于基础设施类项目。它解决的是 LLM 在部署和交互过程中面临的安全威胁,如提示注入、恶意输出和数据泄露等问题★ 269gpt_servergpt_server 是一个面向生产环境的 AI 服务部署框架,旨在统一集成多种主流模型能力,包括大语言模型(LLM)、Embedding、Reranker、A★ 254agent-auditagent-audit 是一个针对 LLM 智能体的静态安全扫描工具,主要解决 AI Agent 应用中的安全漏洞问题,如提示注入、MCP 配置错误和污点分析。★ 245humanboundHumanbound 是一个开源的对抗性测试引擎,为 AI 智能体提供 SDK 和命令行工具,用于发现和修复智能体中的安全漏洞与逻辑缺陷。它解决的核心问题是:A★ 239node9-proxynode9-proxy 是一个面向 AI Agent 时代的执行安全层,为自主 AI 代理提供确定性的“Sudo”治理和审计日志。它解决的是当前 LLM 代理在★ 225guardanaGuardana 是一个面向 AI 安全验证的开源工具,用可复现的证据支撑模型发布决策。它把模型制品、在线推理端点、MCP 服务器以及录制下来的智能体运行轨迹都★ 225www-project-agent-memory-guardAgent Memory Guard 是 OWASP 基金会下的一个开源项目,专注于解决 AI 智能体(Agent)的记忆安全问题。随着大语言模型(LLM)驱动★ 204gatewaygateway 是一个开源的 LLM 防火墙,旨在为 AI 应用提供安全网关。它通过自托管方式,在应用与大模型之间建立统一入口,解决企业使用 AI 时的安全管控★ 181prompt-guardprompt-guard 是一个面向 AI 智能体的高级提示注入防御系统,旨在解决大语言模型应用面临的提示注入攻击问题。它提供多语言检测能力,能够识别多种语言的★ 180AgentCaptureAgentCapture 是一个用 Python 编写的欺骗层蜜罐系统,专门面向 AI 渗透测试代理(AI pentest agent)的捕获与反制。它通过嵌入★ 178Awesome-LLMSecOpsAwesome-LLMSecOps 是一个专注于大语言模型(LLM)与智能体(Agent)安全运营的精选资源列表。它系统性地整理了 LLM 安全领域的威胁建模、★ 170context-bombscontext-bombs 是一个专注于 AI 安全与评测的开源项目,核心是提供一系列精心构造的“上下文炸弹”字符串,用于测试和评估 AI 系统在面临恶意或异常★ 167XSafeClawXSafeClaw 是复旦大学开源的多智能体安全评测平台,专注于检测和防御针对 LLM 智能体的安全威胁。它解决的核心问题是:随着 Agent 被赋予工具调用和★ 167Awesome-Embodied-AI-Safety这是一个关于具身AI安全领域的综述性开源项目,汇集了500多篇相关论文,系统梳理了具身AI在感知、认知、规划、交互和智能体系统等层面面临的风险、攻击与防御方法。★ 164