
augustus
一条命令跑 190+ 探针,快速测出大模型安全漏洞
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 326
技术标签
核心亮点
- 190+ 探针覆盖提示注入、越狱、数据泄露等常见攻击面,开箱即用
- 支持 28 家模型提供商,兼容 OpenAI 接口,切换目标模型成本低
- 单个 Go 二进制文件,无复杂依赖,部署和集成到 CI 都方便
不足之处
- 项目早期,探针库和攻击模板的更新频率、社区贡献机制尚不明确
- 缺少与主流评测基准(如 HarmBench)的对照结果,横向可比性待验证
适用场景
- 模型上线前做红队安全测试,批量跑探针生成风险报告
- 安全团队持续监控已部署模型的提示注入和越狱行为变化
- 在 CI 流水线中集成安全门禁,模型更新后自动触发回归测试
替代项目
garak、PyRIT、promptfoo
上一篇:RouterArena
下一篇:synbad
同类项目推荐
fake-news
开源
手把手教你从零搭一个假新闻检测模型并上线部署
Building a fake news detector from initial ideation to model deployment
ai-rag-chat-evaluator
开源
给 RAG 问答打分,量化回答质量再上线
Tools for evaluation of RAG Chat Apps using Azure AI Evaluate SDK and OpenAI
TAB
开源
统一评测时间序列异常检测方法,公平对比选最优
[PVLDB 2025] TAB: Unified Benchmarking of Time Series Anomaly Detection Methods
ARTEX
开源
让 AI 自动跑完授权渗透测试流程
ARTEX - AI autonomous penetration testing system (English translation; upstream: Aut···
deepeval
开源
像写单元测试一样评测你的 LLM 应用,快速发现质量回归。
The LLM Evaluation Framework
ClawdSecbot
开源
给 AI Bot 装上实时安全盾牌,防注入、防攻击、可审计。
ClawdSecbot is a professional AI Bot security protection solution, providing securit···
tau2-bench
开源
测测你的AI智能体,会不会在真实客服场景中翻车
τ-Bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
FeatureBench
开源
用真实功能开发任务,量出编码智能体的真实水平
[ICLR 2026] Official Implementation of "FeatureBench: Benchmarking Agentic Coding fo···
LLM-IR-Bias-Fairness-Survey
开源
一库看懂LLM做搜索时的偏见与公平坑
This is the repo for the survey of Bias and Fairness in IR with LLMs.