项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 584
使用教程
环境要求
- Node 环境
- 待测智能体
- 模型凭据
安装与启动步骤
-
1装命令行工具
全局装一份，之后在各项目里用。
npm i -g @keyvaluesystems/agent-opfor-cli -
2建一个测试项目
按它给的模板初始化，把目标智能体接进来。
-
3选攻击面
提示注入、越狱、数据外泄分门别类，先挑一类跑。
-
4跑一轮并看报告
报告会标出命中项与复现步骤，重点看高危。
-
5修完再回归
改动后重跑同一组用例，确认没引入新问题。
如何确认成功
对自建智能体跑完一轮测试后拿到分级报告，至少三条高危项能按步骤稳定复现
注意事项
- 它做的是红队测试，不是防护产品。
- 只测自己的系统，别对外部服务发起测试。
- 模型随机性会让结果有波动，同一用例多跑几次。
- 报告里的高危项要人工确认，存在误报。
核心亮点
- 提供可复用的对抗场景库，覆盖越狱、提示注入等常见攻击向量
- 支持 MCP 服务器专项测试，针对协议层安全设计
- 提供浏览器扩展和 CLI 双模式，灵活适配不同测试环境
不足之处
- 项目处于早期阶段，文档和社区生态待观察
- 场景覆盖可能有限，需自行扩展自定义攻击模板
适用场景
- AI 应用上线前的安全红队评估
- MCP 服务器开发中的安全测试
- 安全团队对内部 AI 系统进行渗透演练
替代项目
PyRIT、Garak、Adversarial Robustness Toolbox
上一篇：clawseccheck
下一篇：humanbound
同类项目推荐
mt-rag-benchmark
开源
多轮对话下测 RAG，暴露单轮评测看不到的短板
Multi-Turn RAG Benchmark
skill-scanner
开源
给 Agent 技能做安全体检，上线前扫出提示注入和越权风险
Security Scanner for Agent Skills
evals-skills
开源
跟着课程搭 LLM 评测体系，把主观质量变成可复现指标
Skills for AI Evals to compliment the course: AI Evals For Engineers & PMs
pii-guardrail-browser-extension
开源
粘贴前自动抹掉敏感信息，放心用 AI 对话
Privacy Guardrail is a local-first Chrome extension that detects and anonymizes PII ···
faster_coco_eval
开源
替换 pycocotools，COCO 评测提速数倍不丢精度
Continuation of an abandoned project fast-coco-eval
opencompass
开源
一站式评测大模型，百个数据集横向对比，快速选出最强模型。
OpenCompass is an LLM evaluation platform, supporting a wide range of models from Op···
MMMU
开源
用大学级多模态考题，测出 AI 的真实专家水平
This repo contains evaluation code for the paper "MMMU: A Massive Multi-discipline M···
cai
开源
给AI穿上防弹衣，让安全模型扛住攻击
Cybersecurity AI (CAI), the framework for AI Security
torch-fidelity
开源
PyTorch 生成模型指标，数值对齐可复现
High-fidelity performance metrics for generative models in PyTorch