
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2128
使用教程
环境要求
- Python 环境(项目基于 Python)
- 已安装 uv 包管理器(README 使用 uv sync)
- 已安装 Git
- Anthropic 与 OpenAI 的 API Key(可选用 llamafirewall 检测器免密钥)
安装与启动步骤
-
1克隆 ADR 仓库
从 GitHub 拉取 ADR 源码到本地任意目录,命令来自 README 快速开始。
git clone https://github.com/uber/ADR -
2进入 Detection 目录
快速开始针对 Detection 组件,需先切换进该子目录再执行后续命令。
cd ADR/Detection -
3同步依赖
用 uv 按项目配置安装/同步 Python 依赖,首次执行需联网下载。
uv sync -
4配置模型 API Key
导出 Anthropic 与 OpenAI 两个密钥环境变量,供检测器调用大模型使用。
export ANTHROPIC_API_KEY="sk-ant-xxxxxxxx" OPENAI_API_KEY="sk-xxxxxxxx" -
5运行检测器
默认检测器为 adr(ADR 双智能体);无密钥冒烟测试可加 --detector llamafirewall,完整命令见 Detection/README.md。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
ANTHROPIC_API_KEY | 是 | Anthropic 模型密钥,默认 adr 检测器调用所需 | sk-ant-xxxxxxxx |
OPENAI_API_KEY | 是 | OpenAI 模型密钥,默认 adr 检测器调用所需 | sk-xxxxxxxx |
如何确认成功
uv sync 无报错完成,且两个 API Key 环境变量已导出成功,即可在 Detection 目录运行检测器。
常见问题
Q:没有 API Key 能跑吗?
A:可以。README 提供无密钥冒烟测试方式,运行检测器时加上 --detector llamafirewall 参数,具体用法见 Detection/README.md。
Q:默认使用哪个检测器?
A:默认检测器为 adr,即 ADR 双智能体方案;如需更换检测器或跑基线,参考 Detection/README.md。
Q:如何复现论文的完整评测?
A:按 docs/REPRODUCIBILITY.md 的流程:解压打包好的基准数据集、运行各检测器、最后绘制图表。
Q:其他组件怎么部署?
A:Discovery、Sensor、Detection 各自有 README(Discovery/README.md、Sensor/README.md、Detection/README.md),按对应文档操作。
注意事项
- README 只给出 Detection 组件的 Quick start,其他组件需查阅各自 README。
- ADR-Bench 包含 300+ 任务、134 个 MCP 服务器,覆盖全部 17 种智能体攻击技术。
- ADR 已在 Uber 生产环境部署,相关论文被 MLSys 2026 接收。
- README 未给出运行检测器的完整命令,请以 Detection/README.md 为准,不要自行猜测参数。
核心亮点
- 由 Uber 实际部署验证,具备生产级可靠性
- 提供可观测性、安全基准测试、威胁检测一体化方案
- 原生支持 Claude、Codex、Cursor 及 MCP 协议,集成成本低
不足之处
- 项目较新,文档和社区生态仍在完善中
- 安全基准测试场景可能未覆盖所有行业特定威胁
适用场景
- 企业部署 AI Agent 前进行安全合规评估
- 生产环境中实时监控 Agent 行为并拦截异常操作
- 安全团队对 Agent 进行红队演练和漏洞挖掘
替代项目
LangSmith、Prompt Security、Rebuff
上一篇:future-agi
下一篇:Aegis
同类项目推荐
ChatGPT-Sentiment-Evaluation
开源
测测ChatGPT懂不懂你的情绪
Can ChatGPT really understand the opinions, sentiments, and emotions contained in th···
continuous-eval
开源
让 LLM 应用效果可量化,用数据驱动迭代优化
Data-Driven Evaluation for LLM-Powered Applications
ClassEval
开源
测大模型写类的能力,比单函数更接近真实编程
Benchmark ClassEval for class-level code generation.
Diffusion-MU-Attack
开源
快速攻破遗忘扩散模型,测出安全漏洞
The official implementation of ECCV'24 paper "To Generate or Not? Safety-Driven Unle···
content-seal
开源
给AI生成的音视图文打上隐形来源标记
Content Seal is a state-of-the-art framework for invisible, robust watermarking acro···
awesome-ai-safety
开源
一站式速查AI安全核心论文,快速入门不迷路
A curated list of papers & technical articles on AI Quality & Safety
evals
开源
用真实 React Native 任务,测出 AI 编码真本事。
A benchmark suite for evaluating how coding models solve real React Native tasks.
ASSERT
开源
按需求自动生成用例,本地跑测 AI Agent 行为
Requirement-driven evaluation harness for AI agents and LLM applications. Generate b···
defenseclaw
开源
给自主 AI Agent 套上可审计的安全护栏
Security Governance for Agentic AI