项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2042
使用教程
环境要求
- 已安装 Python 与 pip(README 未指定最低版本)
- 本机 8718 端口空闲,服务默认监听 0.0.0.0:8718
- 如要扫描真实目标,需准备 LLM 接口地址与 Bearer 密钥
安装与启动步骤
-
1安装工具包
用 pip 从 PyPI 安装 agentic_security,装完即得到 agentic_security 命令行入口。
pip install agentic_security -
2启动服务
直接运行命令启动内置 Web 服务,会自动加载本地 CSV 测试用例并监听 8718 端口。
agentic_security -
3模块方式启动
等效的另一种启动方式,适合在脚本或虚拟环境中调用,启动后行为与上一步一致。
python -m agentic_security -
4生成 CI 配置
生成默认配置文件 agesec.toml,用于把安全扫描接入 CI 流程;重复执行会覆盖同名文件。
agentic_security init -
5填写扫描目标
编辑 agesec.toml 中的 llmSpec,替换请求地址与 Bearer 密钥,按需调整预算与阈值后即可执行扫描。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
llmSpec | 是 | LLM 接口规格,含请求方法、URL、鉴权头与 JSON 请求体模板 | POST http://0.0.0.0:8718/v1/self-probe
Authorization: Bearer |
maxBudget | 否 | 本次扫描的最大预算上限 | 1000000 |
max_th | 否 | 允许的最大失败率阈值(百分比) | 0.3 |
optimize | 否 | 是否在扫描过程中启用优化 | false |
enableMultiStepAttack | 否 | 是否开启多步越狱攻击模拟 | false |
modules.<name>.dataset_name | 否 | 指定模块使用的数据集,可为远端数据集名或内置模块名 | simonycl/aya-23-8B_advbench_jailbreak |
如何确认成功
终端出现 “Uvicorn running on http://0.0.0.0:8718”,浏览器打开该地址能看到 Web 界面即成功。
常见问题
Q:服务默认端口是多少?
A:8718。启动日志显示 Uvicorn running on http://0.0.0.0:8718,若被占用需先释放该端口或调整配置。
Q:两种启动方式有区别吗?
A:没有本质区别。agentic_security 是安装生成的命令入口,python -m agentic_security 以模块方式运行,两者都会拉起同一个 Web 服务。
Q:怎么把它接入 CI 做安全门禁?
A:先执行 agentic_security init 生成 agesec.toml,填好 llmSpec 与阈值,再在流水线中调用该命令完成扫描。
Q:配置文件生成在哪?
A:默认写入当前工作目录下的 agesec.toml,日志会提示 Default configuration generated successfully to agesec.toml。
注意事项
- llmSpec 示例里的 Bearer XXXXX 只是占位符,必须换成真实密钥,且不要把 agesec.toml 提交到代码仓库。
- README 中 “python -m agentic_security” 代码块未闭合,属文档笔误,不影响命令使用。
- README 未说明 Python 最低版本、依赖清单和 Docker 部署方式,本教程只覆盖 pip 安装与 CLI 启动路径。
核心亮点
- 内置大量攻击模板,覆盖提示注入、越狱等常见威胁
- 支持主流 LLM API(OpenAI、Anthropic 等)和代理框架
- 可输出结构化报告,便于集成到 CI/CD 流水线
不足之处
- 文档/社区待观察
- 测试用例库的覆盖深度可能依赖社区贡献
适用场景
- LLM 应用上线前的安全测试
- 红队演练与渗透测试
- 持续监控模型输出安全性
替代项目
Garak、PyRIT、TextAttack
上一篇:M3Exam
下一篇:opencompass
同类项目推荐
vidore-benchmark
开源
给文档检索模型打分,看谁找图找得准
Vision Document Retrieval (ViDoRe): Benchmark. Evaluation code for the ColPali paper···
llm-as-a-verifier
开源
给任意 agent 加个 LLM 裁判,不训练也能细粒度打分
LLM-as-a-Verifier is a general-purpose framework that provides fine-grained feedback···
mt-rag-benchmark
开源
多轮对话下测 RAG,暴露单轮评测看不到的短板
Multi-Turn RAG Benchmark
SREGym
开源
用真实生产事故考题,测出 AI Agent 会不会排障
Can AI agents resolve production incidents?
halo-record
开源
给 AI 代理装上防篡改黑匣子,操作记录人人可验
Tamper-evident audit trails for AI agents: hash-chained Runtime Records, dependency-···
axbench
开源
给LLM解释方法打分,选出真正有用的那个
Stanford NLP Python library for benchmarking the utility of LLM interpretability met···
SemBench
开源
给语义查询引擎跑分,选型不再靠猜
Benchmarking Semantic Query Processing Engines
TrustEval-toolkit
开源
一键评估生成模型可信度,量化风险更安心
[ICLR'26, NAACL'25 Demo] Toolkit & Benchmark for evaluating the trustworthiness of g···
MMStar
开源
更公平地测出大模型真实视觉能力,避免作弊分
[NeurIPS 2024] This repo contains evaluation code for the paper "Are We on the Right···
