augustus

一条命令跑 190+ 探针,快速测出大模型安全漏洞

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 45 🐛 待处理 30 👀 关注 2
GitHub ↗
GitHub 星标 ★ 326
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,Go二进制工具

项目预览

augustus 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队praetorian-inc
定价模式🏷️完全免费
价格说明开源免费,Go二进制工具
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型ai-security,capability
GitHub 星标★ 326
上线时间2026-02-06 00:00:00
代码更新2026-11-20
仓库体积56.3 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-10-07
浏览次数4

项目介绍

Augustus 是一个用 Go 编写的 LLM 安全测试框架,专门用于检测提示注入、越狱和对抗性攻击。它把常见的大模型安全风险抽象成 190 多个探针(probe),覆盖提示注入、越狱、数据泄露、有害内容生成等攻击面,并支持 28 家模型提供商,包括 OpenAI、Anthropic、Google 以及各类本地或兼容 OpenAI 接口的服务。用户只需配置好 API Key,就能用单个 Go 二进制文件对目标模型批量执行安全测试,得到结构化的结果,用于评估模型在对抗场景下的稳健性。它的价值在于把分散的安全测试用例和攻击模板集中管理,降低安全团队搭建评测流水线的成本,适合在模型上线前做红队式检查,也适合持续监控模型行为变化。项目处于早期阶段,星标约 300,但方向明确、覆盖面广,是 LLM 安全评测领域一个轻量且实用的工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 326

技术标签

核心亮点

  • 190+ 探针覆盖提示注入、越狱、数据泄露等常见攻击面,开箱即用
  • 支持 28 家模型提供商,兼容 OpenAI 接口,切换目标模型成本低
  • 单个 Go 二进制文件,无复杂依赖,部署和集成到 CI 都方便

不足之处

  • 项目早期,探针库和攻击模板的更新频率、社区贡献机制尚不明确
  • 缺少与主流评测基准(如 HarmBench)的对照结果,横向可比性待验证

适用场景

  • 模型上线前做红队安全测试,批量跑探针生成风险报告
  • 安全团队持续监控已部署模型的提示注入和越狱行为变化
  • 在 CI 流水线中集成安全门禁,模型更新后自动触发回归测试

替代项目

garak、PyRIT、promptfoo

上一篇:RouterArena

下一篇:synbad

同类项目推荐

fake-news 开源

手把手教你从零搭一个假新闻检测模型并上线部署

Building a fake news detector from initial ideation to model deployment

★ 172 2026-08-09
ai-rag-chat-evaluator 开源

给 RAG 问答打分,量化回答质量再上线

Tools for evaluation of RAG Chat Apps using Azure AI Evaluate SDK and OpenAI

★ 338 2026-10-02
TAB 开源

统一评测时间序列异常检测方法,公平对比选最优

[PVLDB 2025] TAB: Unified Benchmarking of Time Series Anomaly Detection Methods

★ 144 2026-08-09
ARTEX 开源

让 AI 自动跑完授权渗透测试流程

ARTEX - AI autonomous penetration testing system (English translation; upstream: Aut···

★ 12934 2026-11-02
deepeval 开源

像写单元测试一样评测你的 LLM 应用,快速发现质量回归。

The LLM Evaluation Framework

★ 19576 2026-08-10
ClawdSecbot 开源

给 AI Bot 装上实时安全盾牌,防注入、防攻击、可审计。

ClawdSecbot is a professional AI Bot security protection solution, providing securit···

★ 93 2026-08-09
tau2-bench 开源

测测你的AI智能体,会不会在真实客服场景中翻车

τ-Bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains

★ 2489 2026-08-09
FeatureBench 开源

用真实功能开发任务,量出编码智能体的真实水平

[ICLR 2026] Official Implementation of "FeatureBench: Benchmarking Agentic Coding fo···

★ 105 2026-11-05