
promptmap
给 LLM 应用做安全体检,防提示注入攻击
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1294
技术标签
使用教程
环境要求
- Python 3 环境(README 未指定具体版本)
- 已安装 pip,可执行 pip install
- 能访问 GitHub 与目标模型服务(云端 API 或本地 Ollama)
- 如使用本地模型,需先安装 Ollama(可选)
安装与启动步骤
-
1克隆仓库
把 promptmap 源码下载到本地并进入项目目录,README 给出的仓库地址如下。
git clone https://github.com/utkusen/promptmap.git cd promptmap -
2安装 Python 依赖
根据仓库中的 requirements.txt 一次性安装全部 Python 依赖包。
pip install -r requirements.txt -
3安装 Ollama
只有想测试本地模型时才需要。前往 Ollama 下载页按官方说明安装,README 未给出安装命令。
-
4扫描 OpenAI 模型
以 gpt-3.5-turbo 为目标模型运行扫描;Anthropic、Google、XAI 同理,只需换模型名和类型。
python3 promptmap2.py --target-model gpt-3.5-turbo --target-model-type openai -
5扫描本地 Ollama 模型
目标类型设为 ollama;若模型未下载,工具会提示下载,加 -y 可自动下载。
python3 promptmap2.py --target-model "llama2:7b" --target-model-type ollama -y -
6指定规则或类别
用 --rules 按规则名运行,用 --rule-type 按类别运行,例如只跑提示窃取、越狱或有害内容测试。
python3 promptmap2.py --target-model gpt-4 --target-model-type openai --rules prompt_stealer_basic,distraction_basic python3 promptmap2.py --target-model gpt-4 --target-model-type openai --rule-type prompt_stealing,jailbreak python3 promptmap2.py --target-model gpt-4 --target-model-type openai --rule-type harmful
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--target-model | 是 | 被测目标模型的名称 | gpt-3.5-turbo |
--target-model-type | 是 | 模型提供方类型 | openai |
--ollama-url | 否 | Ollama 服务不在本机时指定其地址 | http://192.168.1.100:11434 |
--rules | 否 | 只运行指定名称的规则,逗号分隔 | prompt_stealer_basic,distraction_basic |
--rule-type | 否 | 按类别运行全部规则,逗号分隔 | prompt_stealing,jailbreak |
-y | 否 | 模型未安装时自动下载,不再询问 | -y |
如何确认成功
命令执行后终端持续输出攻击提示与目标模型返回、控制器 LLM 的判定结果,即表示扫描已正常运行。
常见问题
Q:可以测试哪些模型提供方?
A:README 示例覆盖 openai、anthropic、google、xai 四种云端类型,以及本地 ollama,用法都是同样的两个参数。
Q:Ollama 装在其他机器上怎么办?
A:用 --ollama-url 指定地址,例如 --ollama-url http://192.168.1.100:11434,默认情况无需填写。
Q:只想跑某一类测试怎么做?
A:用 --rule-type 指定类别(如 prompt_stealing、jailbreak、harmful),或用 --rules 指定具体规则名。
Q:模型没下载会怎样?
A:promptmap 会询问是否下载;加上 -y 参数即可自动下载,README 示例中给的就是这种写法。
注意事项
- README 未说明云端模型 API Key 的配置方式,使用前请自行准备对应平台的访问凭据。
- 扫描行为会主动向目标应用发送攻击性提示,请仅对自有或已获授权的应用执行。
- --rules 与 --rule-type 的具体规则名/类别名以仓库内的规则文件为准。
核心亮点
- 自动化生成攻击模板,省去手动构造恶意提示的麻烦
- 支持 ChatGPT、Claude、Ollama 等主流模型,兼容性好
- 黑盒测试方式,无需改动应用代码即可扫描
不足之处
- 文档/社区待观察
- 仅聚焦提示注入,覆盖攻击类型有限
适用场景
- LLM 应用上线前的安全测试
- 开发过程中定期检查提示注入风险
- 安全团队评估第三方 LLM 应用
替代项目
garak、PyRIT、TextAttack
上一篇:power-pwn
下一篇:Awesome-LLM-Eval
同类项目推荐
agent-skills-eval
开源
跑一遍测试,就知道你的 AI 技能行不行
A test runner for agentskills.io-style AI agent skills
Awesome-LVLM-Attack
开源
一页看全 LVLM 攻击论文与工具,快速入门安全评测
up-to-date & curated list of awesome Attacks on Large-Vision-Language-Models papers,···
power-pwn
开源
给 AI 助手做安全体检,防黑客钻空子
An offensive/defense security toolset for discovery, recon and ethical assessment of···
evaluate
开源
一行代码加载指标,快速评测模型效果
Evaluate: A library for easily evaluating machine learning models and datasets.
awesome-typesafe-jev
开源
一页看全 System One 的 SDK、演示与评测
Awesome Jev: a source-backed field guide to TypeSafe's System One model, with SDKs, ···
helm
开源
一站式跑分对比大模型,多维度评测可复现
Holistic Evaluation of Language Models (HELM) is an open source Python framework cre···
MemoryAgentBench
开源
多轮对话里测 Agent 记不记得住、找不找得回
Open source code for ICLR 2026 Paper: Evaluating Memory in LLM Agents via Incrementa···
safelabs-eval
开源
给 AI 智能体做红队体检,上线前先找出被越狱和注入的漏洞
Red-teaming and evaluation framework for AI agents, built around an OWASP-inspired A···
hol-guard
开源
给 AI 代理装杀毒软件,实时拦截危险操作和攻击
Open-source antivirus and firewall for AI agents: block risky tools, secret access, ···