
PromptInject
模块化组装提示词,量化评估LLM对抗攻击的鲁棒性。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 528
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 无需环境
- 自建模型或应用
安装与启动步骤
-
1先读研究目的
它研究的是外部输入如何劫持模型指令,属安全研究范畴。
-
2看攻击分类
按注入位置与手法分类,先建立分类框架。
-
3只在自己的系统上复现
拿别人的服务当靶子既违约也可能违法。
-
4转成防护用例
每条攻击都应该对应一条检测或隔离策略。
如何确认成功
能说清两类提示注入手法各自的入口,并为你自己的应用写下一条对应的隔离措施
注意事项
- 它是提示注入方向的研究项目,产出是攻击方法与数据,不是防御产品。
- 仅限自有系统与授权范围,对第三方服务做同样的事违反条款。
- 提示注入的根因是模型分不清指令与数据,这点决定了防御要做在架构层。
- 最有价值的用法是把它当测试集,而不是收藏攻击话术。
核心亮点
- 基于获奖论文,方法论严谨,学术认可度高
- 模块化设计,方便扩展自定义攻击模板
- 提供量化分析结果,直观对比不同模型的鲁棒性
不足之处
- 项目较早期,文档和社区支持待观察
- 主要面向研究场景,生产环境集成需额外开发
适用场景
- 学术研究:评估新模型的对抗鲁棒性
- 安全测试:在部署前对LLM进行红队测试
- 模型选型:对比不同LLM的安全性能
替代项目
TextAttack、OpenAI Evals、Garak
上一篇:AwesomeLLM4APR
下一篇:inseq
同类项目推荐
context-bombs
开源
用现成的攻击字符串,测出你的 AI 系统抗不抗揍。
Context bomb strings
Awesome-Attention-Heads
开源
一站式读懂大模型注意力头,搞懂模型在想什么
An awesome repository & A comprehensive survey on interpretability of LLM attention ···
botium-core
开源
像用 Selenium 测网页一样,自动化测试你的聊天机器人
The Selenium for Chatbots - Bots Testing Bots
openai-guardrails-js
开源
给 LLM 应用加一道输入输出安检门,拦截越狱与敏感内容
OpenAI Guardrails - TypeScript / JavaScript
AgentBench
开源
一套基准测出 LLM 当智能体到底行不行
A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)
ai-dfir-toolkit
开源
给 AI 系统装上开箱即用的入侵检测规则
A vendor-neutral collection of Sigma, YARA, and Suricata rules for detecting comprom···
Oversight
开源
模块化拆解 LLM,自动红队测试,发现漏洞
A Completely Modular LLM Reverse Engineering, Red Teaming, and Vulnerability Researc···
CipherChat
开源
用密码绕过安全护栏,测出大模型隐藏漏洞
A framework to evaluate the generalization capability of safety alignment for LLMs
VLMEvalKit
开源
一键评测 220+ 多模态模型,秒出对比报告
Open-source evaluation toolkit of large multi-modality models (LMMs), support 220+ L···