项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2818
使用教程
环境要求
- Python 3.9(README 中 conda 环境指定版本)
- pip 包管理工具,用于安装 promptbench 及依赖
- conda(可选,用于创建隔离环境)
- 能够访问 GitHub 的网络环境
- 如需使用 Prompt Attacks 功能,还需额外安装 TextAttack
安装与启动步骤
-
1pip 快速安装
最省事的方式,直接安装官方发布的 Python 包,适合只想快速开始评估的用户。
pip install promptbench -
2克隆仓库
想使用最新特性或基于源码开发时,从 GitHub 克隆项目。
git clone git@github.com:microsoft/promptbench.git -
3进入项目目录
切换到克隆下来的仓库根目录,后续命令都在此目录执行。
cd promptbench -
4创建 conda 环境
README 指定使用 Python 3.9 创建名为 promptbench 的隔离环境。
conda create --name promptbench python=3.9 -
5激活环境
激活刚创建的环境,确保依赖装在隔离环境中。
conda activate promptbench -
6安装依赖包
安装基础 Python 依赖,这一步只装基础包,不含攻击相关组件。
pip install -r requirements.txt -
7验证导入
在 Python 交互环境中导入 promptbench,确认安装成功。
import promptbench as pb
如何确认成功
执行 import promptbench as pb 不报错,即表示基础库安装成功。
常见问题
Q:pip 安装和 GitHub 安装该选哪个?
A:pip 安装最省事,但版本可能落后于仓库最新更新;需要最新特性或二次开发时选 GitHub 源码安装。
Q:为什么安装完还不能跑 Prompt Attacks?
A:requirements.txt 只包含基础 Python 包,攻击功能还需要额外安装 TextAttack,README 中未给出具体命令,请参考其官方文档安装。
Q:clone 时提示权限被拒绝怎么办?
A:README 使用的是 SSH 地址,需要本机已配置 GitHub SSH 密钥;未配置可改用 HTTPS 地址克隆。
Q:必须在 conda 环境里安装吗?
A:conda 是 README 推荐做法,用于版本隔离并锁定 Python 3.9;已有满足要求的 Python 3.9 环境也可直接安装依赖。
注意事项
- pip 安装的版本可能落后于 GitHub 仓库的最新代码。
- Prompt Attacks 相关功能需要额外安装 TextAttack 才能使用。
- README 给出的克隆地址为 SSH 形式(git@github.com:...),需先配置 SSH 密钥。
- 切换环境后请确认使用的是 promptbench 这个 conda 环境,避免依赖装到全局环境。
核心亮点
- 内置多种对抗攻击方法,能系统评估模型鲁棒性
- 模块化设计,支持自定义任务、模型和攻击策略
- 提供详细评估报告,便于对比不同模型和提示词效果
不足之处
- 文档和社区生态尚在成长,部分功能使用需自行探索
- 对中文场景的适配和示例相对较少
适用场景
- 大模型选型时对比不同模型的鲁棒性和综合能力
- 开发提示工程策略时验证提示词在不同攻击下的稳定性
- 研究对抗攻击方法时快速搭建评估基准
替代项目
lm-evaluation-harness、OpenCompass、HELM
上一篇:ChatGPT_DAN
下一篇:AgentBench
同类项目推荐
oss-fuzz-gen
开源
用大模型自动写模糊测试,一键发现代码漏洞
LLM powered fuzzing via OSS-Fuzz.
StreamEval
开源
给流式交互视频生成立一把可复现的评测尺
The first-ever interactive streaming video generation benchmark.
Alignment-Whack-a-Mole-Code
开源
微调一下,对齐模型又开始背版权书
The official code repo of Alignment Whack-a-Mole: Finetuning Activates Verbatim Reca···
tribunal
开源
在 Elixir 里像写测试一样评测 LLM 输出
LLM evaluation framework for Elixir: evaluate and test LLM outputs, detect hallucina···
ChineseHarm-bench
开源
测一测你的模型对中文有害内容有多能扛
ChineseHarm-Bench: A Chinese Harmful Content Detection Benchmark
NOIR
开源
用 adb 给手机做隐私体检,看清 App 上报了什么
手机隐私审计:用 adb 扫出 Android 应用的权限、上报端点与数据流向,并给出可回滚的处置···
langfair
开源
给LLM做公平性体检,防偏见翻车
LangFair is a Python library for conducting use-case level LLM bias and fairness ass···
watchtower
开源
扫描AI模型漏洞,守护AI供应链安全
AIShield Watchtower: Dive Deep into AI's Secrets! Open-source tool by AIShield for ···
Semia
开源
装 AI 技能前先扫一遍,把危险命令挡在门外
Semia, security audit for AI agent skills.
