PromptInject

模块化组装提示词,量化评估LLM对抗攻击的鲁棒性。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 58 🐛 待处理 6 👀 关注 10
GitHub ↗
GitHub 星标 ★ 528
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,无付费版本。

项目预览

PromptInject 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队agencyenterprise
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型adversarial-attacks,agi,agi-alignment,ai-alignment,ai-safety,chain-of-thought,gpt-3,language-models,large-language-models,machine-learning,ml-safety,prompt-engineering
GitHub 星标★ 528
上线时间2022-10-25 00:00:00
代码更新2026-04-27
仓库体积352 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

PromptInject 是一个用于评估大型语言模型(LLM)对对抗性提示攻击鲁棒性的开源框架。它通过模块化方式组装提示词,帮助研究者和开发者定量分析模型在面对恶意或误导性输入时的表现。该项目源自 NeurIPS 2022 ML Safety Workshop 的最佳论文,提供了系统化的攻击模板和评估流程,支持多种攻击场景(如提示注入、越狱等),并输出量化指标,从而帮助用户了解模型的弱点并改进安全性。核心能力包括:模块化提示组装、攻击场景模拟、鲁棒性评分。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 528

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:无需部署 4 步

环境要求

  • 无需环境
  • 自建模型或应用

安装与启动步骤

  1. 1先读研究目的

    它研究的是外部输入如何劫持模型指令,属安全研究范畴。

  2. 2看攻击分类

    按注入位置与手法分类,先建立分类框架。

  3. 3只在自己的系统上复现

    拿别人的服务当靶子既违约也可能违法。

  4. 4转成防护用例

    每条攻击都应该对应一条检测或隔离策略。

如何确认成功

能说清两类提示注入手法各自的入口,并为你自己的应用写下一条对应的隔离措施

注意事项

  • 它是提示注入方向的研究项目,产出是攻击方法与数据,不是防御产品。
  • 仅限自有系统与授权范围,对第三方服务做同样的事违反条款。
  • 提示注入的根因是模型分不清指令与数据,这点决定了防御要做在架构层。
  • 最有价值的用法是把它当测试集,而不是收藏攻击话术。

核心亮点

  • 基于获奖论文,方法论严谨,学术认可度高
  • 模块化设计,方便扩展自定义攻击模板
  • 提供量化分析结果,直观对比不同模型的鲁棒性

不足之处

  • 项目较早期,文档和社区支持待观察
  • 主要面向研究场景,生产环境集成需额外开发

适用场景

  • 学术研究:评估新模型的对抗鲁棒性
  • 安全测试:在部署前对LLM进行红队测试
  • 模型选型:对比不同LLM的安全性能

替代项目

TextAttack、OpenAI Evals、Garak

上一篇:AwesomeLLM4APR

下一篇:inseq

同类项目推荐

context-bombs 开源

用现成的攻击字符串,测出你的 AI 系统抗不抗揍。

Context bomb strings

★ 164 2026-08-10
Awesome-Attention-Heads 开源

一站式读懂大模型注意力头,搞懂模型在想什么

An awesome repository & A comprehensive survey on interpretability of LLM attention ···

★ 414 2026-08-09
botium-core 开源

像用 Selenium 测网页一样,自动化测试你的聊天机器人

The Selenium for Chatbots - Bots Testing Bots

★ 250 2026-08-09
openai-guardrails-js 开源

给 LLM 应用加一道输入输出安检门,拦截越狱与敏感内容

OpenAI Guardrails - TypeScript / JavaScript

★ 113 2026-09-26
AgentBench 开源

一套基准测出 LLM 当智能体到底行不行

A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)

★ 3817 2026-08-09
ai-dfir-toolkit 开源

给 AI 系统装上开箱即用的入侵检测规则

A vendor-neutral collection of Sigma, YARA, and Suricata rules for detecting comprom···

★ 158 2026-10-31
Oversight 开源

模块化拆解 LLM,自动红队测试,发现漏洞

A Completely Modular LLM Reverse Engineering, Red Teaming, and Vulnerability Researc···

★ 55 2026-08-09
CipherChat 开源

用密码绕过安全护栏,测出大模型隐藏漏洞

A framework to evaluate the generalization capability of safety alignment for LLMs

★ 628 2026-08-09
VLMEvalKit 开源

一键评测 220+ 多模态模型,秒出对比报告

Open-source evaluation toolkit of large multi-modality models (LMMs), support 220+ L···

★ 4477 2026-08-09