promptmap

给 LLM 应用做安全体检,防提示注入攻击

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 137 🐛 待处理 6 👀 关注 12
GitHub ↗
GitHub 星标 ★ 1294
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,GPL-3.0许可证,可自行部署使用,完全免费。

项目预览

promptmap 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队utkusen
定价模式🏷️完全免费
价格说明开源项目,GPL-3.0许可证,可自行部署使用,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议GPL-3.0
主要语言Python
技术栈/模型ai-security,chatgpt,claude,llm,ollama,prompt-engineering,prompt-injection
GitHub 星标★ 1294
上线时间2023-07-15 00:00:00
代码更新2025-12-01
仓库体积335 KB
本站数据更新2026-11-11
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

promptmap 是一款针对自定义 LLM 应用的安全扫描器,帮助开发者在部署前发现提示注入等安全漏洞。它通过自动化生成恶意提示模板,对应用进行黑盒测试,模拟攻击者可能使用的注入手法,从而评估应用的防护能力。核心能力包括:支持多种主流 LLM(如 ChatGPT、Claude、Ollama),可自定义攻击模板,提供清晰的漏洞报告。解决的是 LLM 应用开发中容易被忽视的提示注入风险问题,让安全测试融入开发流程,提升应用健壮性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1294

使用教程

难度:入门 约 10 分钟 部署方式:命令行工具 6 步

环境要求

  • Python 3 环境(README 未指定具体版本)
  • 已安装 pip,可执行 pip install
  • 能访问 GitHub 与目标模型服务(云端 API 或本地 Ollama)
  • 如使用本地模型,需先安装 Ollama(可选)

安装与启动步骤

  1. 1克隆仓库

    把 promptmap 源码下载到本地并进入项目目录,README 给出的仓库地址如下。

    git clone https://github.com/utkusen/promptmap.git
    cd promptmap
  2. 2安装 Python 依赖

    根据仓库中的 requirements.txt 一次性安装全部 Python 依赖包。

    pip install -r requirements.txt
  3. 3安装 Ollama

    只有想测试本地模型时才需要。前往 Ollama 下载页按官方说明安装,README 未给出安装命令。

  4. 4扫描 OpenAI 模型

    以 gpt-3.5-turbo 为目标模型运行扫描;Anthropic、Google、XAI 同理,只需换模型名和类型。

    python3 promptmap2.py --target-model gpt-3.5-turbo --target-model-type openai
  5. 5扫描本地 Ollama 模型

    目标类型设为 ollama;若模型未下载,工具会提示下载,加 -y 可自动下载。

    python3 promptmap2.py --target-model "llama2:7b" --target-model-type ollama -y
  6. 6指定规则或类别

    用 --rules 按规则名运行,用 --rule-type 按类别运行,例如只跑提示窃取、越狱或有害内容测试。

    python3 promptmap2.py --target-model gpt-4 --target-model-type openai --rules prompt_stealer_basic,distraction_basic
    python3 promptmap2.py --target-model gpt-4 --target-model-type openai --rule-type prompt_stealing,jailbreak
    python3 promptmap2.py --target-model gpt-4 --target-model-type openai --rule-type harmful

关键配置

配置项必填说明示例
--target-model是被测目标模型的名称gpt-3.5-turbo
--target-model-type是模型提供方类型openai
--ollama-url否Ollama 服务不在本机时指定其地址http://192.168.1.100:11434
--rules否只运行指定名称的规则,逗号分隔prompt_stealer_basic,distraction_basic
--rule-type否按类别运行全部规则,逗号分隔prompt_stealing,jailbreak
-y否模型未安装时自动下载,不再询问-y

如何确认成功

命令执行后终端持续输出攻击提示与目标模型返回、控制器 LLM 的判定结果,即表示扫描已正常运行。

常见问题

Q:可以测试哪些模型提供方?

A:README 示例覆盖 openai、anthropic、google、xai 四种云端类型,以及本地 ollama,用法都是同样的两个参数。

Q:Ollama 装在其他机器上怎么办?

A:用 --ollama-url 指定地址,例如 --ollama-url http://192.168.1.100:11434,默认情况无需填写。

Q:只想跑某一类测试怎么做?

A:用 --rule-type 指定类别(如 prompt_stealing、jailbreak、harmful),或用 --rules 指定具体规则名。

Q:模型没下载会怎样?

A:promptmap 会询问是否下载;加上 -y 参数即可自动下载,README 示例中给的就是这种写法。

注意事项

  • README 未说明云端模型 API Key 的配置方式,使用前请自行准备对应平台的访问凭据。
  • 扫描行为会主动向目标应用发送攻击性提示,请仅对自有或已获授权的应用执行。
  • --rules 与 --rule-type 的具体规则名/类别名以仓库内的规则文件为准。

核心亮点

  • 自动化生成攻击模板,省去手动构造恶意提示的麻烦
  • 支持 ChatGPT、Claude、Ollama 等主流模型,兼容性好
  • 黑盒测试方式,无需改动应用代码即可扫描

不足之处

  • 文档/社区待观察
  • 仅聚焦提示注入,覆盖攻击类型有限

适用场景

  • LLM 应用上线前的安全测试
  • 开发过程中定期检查提示注入风险
  • 安全团队评估第三方 LLM 应用

替代项目

garak、PyRIT、TextAttack

上一篇:power-pwn

下一篇:Awesome-LLM-Eval

同类项目推荐

agent-skills-eval 开源

跑一遍测试,就知道你的 AI 技能行不行

A test runner for agentskills.io-style AI agent skills

★ 815 2026-08-09
Awesome-LVLM-Attack 开源

一页看全 LVLM 攻击论文与工具,快速入门安全评测

up-to-date & curated list of awesome Attacks on Large-Vision-Language-Models papers,···

★ 584 2026-10-14
power-pwn 开源

给 AI 助手做安全体检,防黑客钻空子

An offensive/defense security toolset for discovery, recon and ethical assessment of···

★ 1268 2026-08-09
evaluate 开源

一行代码加载指标,快速评测模型效果

Evaluate: A library for easily evaluating machine learning models and datasets.

★ 2494 2026-09-21
awesome-typesafe-jev 开源

一页看全 System One 的 SDK、演示与评测

Awesome Jev: a source-backed field guide to TypeSafe's System One model, with SDKs, ···

★ 616 2026-10-25
helm 开源

一站式跑分对比大模型,多维度评测可复现

Holistic Evaluation of Language Models (HELM) is an open source Python framework cre···

★ 2968 2026-09-15
MemoryAgentBench 开源

多轮对话里测 Agent 记不记得住、找不找得回

Open source code for ICLR 2026 Paper: Evaluating Memory in LLM Agents via Incrementa···

★ 486 2026-10-23
safelabs-eval 开源

给 AI 智能体做红队体检,上线前先找出被越狱和注入的漏洞

Red-teaming and evaluation framework for AI agents, built around an OWASP-inspired A···

★ 820 2026-09-11
hol-guard 开源

给 AI 代理装杀毒软件,实时拦截危险操作和攻击

Open-source antivirus and firewall for AI agents: block risky tools, secret access, ···

★ 1086 2026-08-09