agentic_security

给大模型应用做安全体检，自动发现漏洞并生成报告

Agentic Security 是一个面向 LLM 应用的漏洞扫描与 AI 红队工具包。它解决的是大模型应用上线前的安全评估问题，通过自动化模糊测试和攻击模拟，帮助开发者发现提示注入、数据泄露、越狱等安全弱点。核心能力包括：支持多种 LLM 提供商和代理框架，提供可扩展的测试用例库，能够生成结构化安全报告，并集成到 CI/CD 流程中。项目采用 Python 编写，提供 CLI 和 Web 界面，便于安全团队快速开展红队演练。

开源 unknown 智能体

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2006

维护状态活跃

是否开源是

定价模式 unknown

项目数据

分类智能体

开发团队msoedov

所属国家

官网地址https://agentic-security.vercel.app

GitHubhttps://github.com/msoedov/agentic_security

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent-framework,agent-security,ai-red-team,llm-evaluation,llm-evaluation-framework,llm-fuzzer,llm-fuzzer-aggregator,llm-fuzzing,llm-guardrails,llm-jailbreaks,llm-scanner,llm-security,llm-vulnerabilities,prompt-testing

GitHub 星标★ 2006

30天Star增速

HF 下载量

上线时间2024-04-11 00:00:00

最近更新2026-09-23 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

难度：入门约 10 分钟部署方式：命令行工具 5 步

环境要求

已安装 Python 与 pip（README 未指定最低版本）
本机 8718 端口空闲，服务默认监听 0.0.0.0:8718
如要扫描真实目标，需准备 LLM 接口地址与 Bearer 密钥

安装与启动步骤

1安装工具包

用 pip 从 PyPI 安装 agentic_security，装完即得到 agentic_security 命令行入口。
```
pip install agentic_security
```
2启动服务

直接运行命令启动内置 Web 服务，会自动加载本地 CSV 测试用例并监听 8718 端口。
```
agentic_security
```
3模块方式启动

等效的另一种启动方式，适合在脚本或虚拟环境中调用，启动后行为与上一步一致。
```
python -m agentic_security
```
4生成 CI 配置

生成默认配置文件 agesec.toml，用于把安全扫描接入 CI 流程；重复执行会覆盖同名文件。
```
agentic_security init
```
5填写扫描目标

编辑 agesec.toml 中的 llmSpec，替换请求地址与 Bearer 密钥，按需调整预算与阈值后即可执行扫描。

关键配置

配置项	必填	说明	示例
`llmSpec`	是	LLM 接口规格，含请求方法、URL、鉴权头与 JSON 请求体模板	`POST http://0.0.0.0:8718/v1/self-probe Authorization: Bearer`
`maxBudget`	否	本次扫描的最大预算上限	`1000000`
`max_th`	否	允许的最大失败率阈值（百分比）	`0.3`
`optimize`	否	是否在扫描过程中启用优化	`false`
`enableMultiStepAttack`	否	是否开启多步越狱攻击模拟	`false`
`modules..dataset_name`	否	指定模块使用的数据集，可为远端数据集名或内置模块名	`simonycl/aya-23-8B_advbench_jailbreak`

如何确认成功

终端出现 “Uvicorn running on http://0.0.0.0:8718”，浏览器打开该地址能看到 Web 界面即成功。

常见问题

Q：服务默认端口是多少？

A：8718。启动日志显示 Uvicorn running on http://0.0.0.0:8718，若被占用需先释放该端口或调整配置。

Q：两种启动方式有区别吗？

A：没有本质区别。agentic_security 是安装生成的命令入口，python -m agentic_security 以模块方式运行，两者都会拉起同一个 Web 服务。

Q：怎么把它接入 CI 做安全门禁？

A：先执行 agentic_security init 生成 agesec.toml，填好 llmSpec 与阈值，再在流水线中调用该命令完成扫描。

Q：配置文件生成在哪？

A：默认写入当前工作目录下的 agesec.toml，日志会提示 Default configuration generated successfully to agesec.toml。

注意事项

llmSpec 示例里的 Bearer XXXXX 只是占位符，必须换成真实密钥，且不要把 agesec.toml 提交到代码仓库。
README 中 “python -m agentic_security” 代码块未闭合，属文档笔误，不影响命令使用。
README 未说明 Python 最低版本、依赖清单和 Docker 部署方式，本教程只覆盖 pip 安装与 CLI 启动路径。

核心亮点

内置大量攻击模板，覆盖提示注入、越狱等常见威胁
支持主流 LLM API（OpenAI、Anthropic 等）和代理框架
可输出结构化报告，便于集成到 CI/CD 流水线

不足之处

文档/社区待观察
测试用例库的覆盖深度可能依赖社区贡献

适用场景

LLM 应用上线前的安全测试
红队演练与渗透测试
持续监控模型输出安全性

替代项目

Garak、PyRIT、TextAttack

项目介绍

agentic_security 是评测安全领域的开源项目，由 msoedov 开发，2024 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（2,006）位列前 30%，在评测安全分类的 466 个项目里位列前 13%。

近 42 天，它的 GitHub 星标从 1,961 增加到 2,006，净增 45。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。从国内网络环境看，当前已无法正常访问。

它主要面向的使用场景是：LLM应用上线前的安全测试。同类可对比的替代方案包括 Garak、PyRIT、TextAttack。

上一篇：M3Exam

下一篇：opencompass