agentic_security

给大模型应用做安全体检,自动发现漏洞并生成报告

开源 🏷️定价信息待确认 🚫 站点已失效 智能体 🍴 复刻 303 🐛 待处理 16 👀 关注 24
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 2042
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

agentic_security 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类智能体
开发团队msoedov
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态🚫 站点已失效
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent-framework,agent-security,ai-red-team,llm-evaluation,llm-evaluation-framework,llm-fuzzer,llm-fuzzer-aggregator,llm-fuzzing,llm-guardrails,llm-jailbreaks,llm-scanner,llm-security,llm-vulnerabilities,prompt-testing
GitHub 星标★ 2042
上线时间2024-04-11 00:00:00
代码更新2026-11-04
仓库体积22.0 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数5

项目介绍

Agentic Security 是一个面向 LLM 应用的漏洞扫描与 AI 红队工具包。它解决的是大模型应用上线前的安全评估问题,通过自动化模糊测试和攻击模拟,帮助开发者发现提示注入、数据泄露、越狱等安全弱点。核心能力包括:支持多种 LLM 提供商和代理框架,提供可扩展的测试用例库,能够生成结构化安全报告,并集成到 CI/CD 流程中。项目采用 Python 编写,提供 CLI 和 Web 界面,便于安全团队快速开展红队演练。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2042

使用教程

难度:入门 约 10 分钟 部署方式:命令行工具 5 步

环境要求

  • 已安装 Python 与 pip(README 未指定最低版本)
  • 本机 8718 端口空闲,服务默认监听 0.0.0.0:8718
  • 如要扫描真实目标,需准备 LLM 接口地址与 Bearer 密钥

安装与启动步骤

  1. 1安装工具包

    用 pip 从 PyPI 安装 agentic_security,装完即得到 agentic_security 命令行入口。

    pip install agentic_security
  2. 2启动服务

    直接运行命令启动内置 Web 服务,会自动加载本地 CSV 测试用例并监听 8718 端口。

    agentic_security
  3. 3模块方式启动

    等效的另一种启动方式,适合在脚本或虚拟环境中调用,启动后行为与上一步一致。

    python -m agentic_security
  4. 4生成 CI 配置

    生成默认配置文件 agesec.toml,用于把安全扫描接入 CI 流程;重复执行会覆盖同名文件。

    agentic_security init
  5. 5填写扫描目标

    编辑 agesec.toml 中的 llmSpec,替换请求地址与 Bearer 密钥,按需调整预算与阈值后即可执行扫描。

关键配置

配置项必填说明示例
llmSpec是LLM 接口规格,含请求方法、URL、鉴权头与 JSON 请求体模板POST http://0.0.0.0:8718/v1/self-probe Authorization: Bearer
maxBudget否本次扫描的最大预算上限1000000
max_th否允许的最大失败率阈值(百分比)0.3
optimize否是否在扫描过程中启用优化false
enableMultiStepAttack否是否开启多步越狱攻击模拟false
modules.<name>.dataset_name否指定模块使用的数据集,可为远端数据集名或内置模块名simonycl/aya-23-8B_advbench_jailbreak

如何确认成功

终端出现 “Uvicorn running on http://0.0.0.0:8718”,浏览器打开该地址能看到 Web 界面即成功。

常见问题

Q:服务默认端口是多少?

A:8718。启动日志显示 Uvicorn running on http://0.0.0.0:8718,若被占用需先释放该端口或调整配置。

Q:两种启动方式有区别吗?

A:没有本质区别。agentic_security 是安装生成的命令入口,python -m agentic_security 以模块方式运行,两者都会拉起同一个 Web 服务。

Q:怎么把它接入 CI 做安全门禁?

A:先执行 agentic_security init 生成 agesec.toml,填好 llmSpec 与阈值,再在流水线中调用该命令完成扫描。

Q:配置文件生成在哪?

A:默认写入当前工作目录下的 agesec.toml,日志会提示 Default configuration generated successfully to agesec.toml。

注意事项

  • llmSpec 示例里的 Bearer XXXXX 只是占位符,必须换成真实密钥,且不要把 agesec.toml 提交到代码仓库。
  • README 中 “python -m agentic_security” 代码块未闭合,属文档笔误,不影响命令使用。
  • README 未说明 Python 最低版本、依赖清单和 Docker 部署方式,本教程只覆盖 pip 安装与 CLI 启动路径。

核心亮点

  • 内置大量攻击模板,覆盖提示注入、越狱等常见威胁
  • 支持主流 LLM API(OpenAI、Anthropic 等)和代理框架
  • 可输出结构化报告,便于集成到 CI/CD 流水线

不足之处

  • 文档/社区待观察
  • 测试用例库的覆盖深度可能依赖社区贡献

适用场景

  • LLM 应用上线前的安全测试
  • 红队演练与渗透测试
  • 持续监控模型输出安全性

替代项目

Garak、PyRIT、TextAttack

上一篇:M3Exam

下一篇:opencompass

同类项目推荐

vidore-benchmark 开源

给文档检索模型打分,看谁找图找得准

Vision Document Retrieval (ViDoRe): Benchmark. Evaluation code for the ColPali paper···

★ 278 2026-08-09
llm-as-a-verifier 开源

给任意 agent 加个 LLM 裁判,不训练也能细粒度打分

LLM-as-a-Verifier is a general-purpose framework that provides fine-grained feedback···

★ 3343 2026-09-16
mt-rag-benchmark 开源

多轮对话下测 RAG,暴露单轮评测看不到的短板

Multi-Turn RAG Benchmark

★ 158 2026-10-02
SREGym 开源

用真实生产事故考题,测出 AI Agent 会不会排障

Can AI agents resolve production incidents?

★ 404 2026-09-12
halo-record 开源

给 AI 代理装上防篡改黑匣子,操作记录人人可验

Tamper-evident audit trails for AI agents: hash-chained Runtime Records, dependency-···

★ 85 2026-08-09
axbench 开源

给LLM解释方法打分,选出真正有用的那个

Stanford NLP Python library for benchmarking the utility of LLM interpretability met···

★ 219 2026-08-09
SemBench 开源

给语义查询引擎跑分,选型不再靠猜

Benchmarking Semantic Query Processing Engines

★ 69 2026-08-09
TrustEval-toolkit 开源

一键评估生成模型可信度,量化风险更安心

[ICLR'26, NAACL'25 Demo] Toolkit & Benchmark for evaluating the trustworthiness of g···

★ 136 2026-08-09
MMStar 开源

更公平地测出大模型真实视觉能力,避免作弊分

[NeurIPS 2024] This repo contains evaluation code for the paper "Are We on the Right···

★ 218 2026-08-09