项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1002
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10+
- 可访问的 OpenAI 兼容模型接口与 API Key
安装与启动步骤
-
1创建虚拟环境
建议用独立环境，避免与其它评测框架的依赖冲突。
python -m venv .venv && source .venv/bin/activate -
2安装主体
从 PyPI 安装评测框架；包 API 仍在演进，版本间可能有变化。
pip install agentdojo -
3可选：装检测器
需要内置提示注入检测器时，额外安装 transformers 可选依赖。
pip install "agentdojo[transformers]" -
4跑单个套件
以 workspace 套件的两个任务为例，指定模型、防御与攻击方式。
python -m agentdojo.scripts.benchmark -s workspace -ut user_task_0 \ -ut user_task_1 --model gpt-4o-2024-05-13 \ --defense tool_filter --attack tool_knowledge -
5跑全部套件
去掉 -s/-ut 即遍历所有套件与任务，耗时明显变长。
python -m agentdojo.scripts.benchmark --model gpt-4o-2024-05-13 \ --defense tool_filter --attack tool_knowledge
如何确认成功
终端逐条打印任务结果，结束时给出各套件的效用与攻击成功率；无 traceback 即视为跑通。
常见问题
Q：跑 benchmark 提示模型鉴权失败？
A：需先设置 OPENAI_API_KEY（或对应 provider 的环境变量），并确认账号可访问该模型。
注意事项
- 框架用于学术评测，不要用它去攻击第三方线上服务。
- 脚本支持 --help，参数（模型、防御、攻击、套件）都可组合。
核心亮点
- 提供标准化的攻击/防御评估框架，避免自建测试环境
- 支持自定义工具和攻击场景，灵活适配不同智能体应用
- 输出量化安全指标，便于对比不同防御策略效果
不足之处
- 早期项目，文档和社区生态尚不完善
- 评估维度可能偏重安全，对通用性能覆盖有限
适用场景
- 安全团队评估 LLM 智能体的提示注入风险
- 开发者测试自身智能体应用的防御机制
- 学术研究对比不同攻击/防御算法的效果
替代项目
garak、PyRIT、TextAttack
上一篇：factualNLG
同类项目推荐
SkillEvaluator
开源
给 Agent 技能做体检：查冲突、测安全、验效果
Multi-tier framework for evaluating AI agent skills with quality gates, semantic ove···
OPERA
开源
给多模态大模型装上防幻觉刹车，生成更可靠
[CVPR 2024 Highlight] OPERA: Alleviating Hallucination in Multi-Modal Large Language···
awesome-ai-safety
开源
一站式速查AI安全核心论文，快速入门不迷路
A curated list of papers & technical articles on AI Quality & Safety
context-bombs
开源
用现成的攻击字符串，测出你的 AI 系统抗不抗揍。
Context bomb strings
faster_coco_eval
开源
替换 pycocotools，COCO 评测提速数倍不丢精度
Continuation of an abandoned project fast-coco-eval
secure-ai-agent-boundary
开源
给 AI 代理划数据红线，越界访问直接拦住
Secure AI Engineering Framework 2026: Data-Boundary Security for Frontier Models
fake-news
开源
手把手教你从零搭一个假新闻检测模型并上线部署
Building a fake news detector from initial ideation to model deployment
GLM-5.3-Flash-J-Space-Capability···
开源
把大模型智能体能力评测做成可读报告，一眼看清真实水平
GLM-5.3-Flash × J-Space capability realization — benchmark presentation of the J-S···
evalscope
开源
一键评测大模型，性能基准轻松跑
A streamlined and customizable framework for efficient large model (LLM, VLM, AIGC) ···