agentdojo

搭建 LLM 智能体攻防演练场，量化安全风险

agentdojo 是一个用于评估 LLM 智能体攻击与防御的动态环境。它解决的核心问题是：随着 LLM 智能体被赋予调用外部工具和访问敏感数据的权限，针对这些智能体的提示注入攻击、数据窃取等安全威胁日益严重，但缺乏标准化的测试平台。该项目提供了一套可编程的环境，允许研究人员和开发者模拟各种攻击场景（如恶意工具输出、用户提示注入）并测试防御策略（如输入过滤、权限隔离）的有效性。其核心能力包括：定义任务和工具集、注入攻击向量、运行智能体并记录交互轨迹、量化安全指标（如任务成功率、攻击成功率）。它基于 Python 构建，易于扩展和集成到现有 LLM 应用开发流程中。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 858

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队ethz-spylab

所属国家

官网地址https://agentdojo.spylab.ai

GitHubhttps://github.com/ethz-spylab/agentdojo

定价模式free

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型benchmark,large-language-models,prompt-injection,security

GitHub 星标★ 858

30天Star增速

HF 下载量

上线时间2024-02-29 00:00:00

最近更新2026-09-23 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

核心亮点

提供标准化的攻击/防御评估框架，避免自建测试环境
支持自定义工具和攻击场景，灵活适配不同智能体应用
输出量化安全指标，便于对比不同防御策略效果

不足之处

早期项目，文档和社区生态尚不完善
评估维度可能偏重安全，对通用性能覆盖有限

适用场景

安全团队评估 LLM 智能体的提示注入风险
开发者测试自身智能体应用的防御机制
学术研究对比不同攻击/防御算法的效果

替代项目

garak、PyRIT、TextAttack

项目介绍

agentdojo 是评测安全领域的开源项目，由 ethz-spylab 开发，2024 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（858）位列前 30%，在评测安全分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：安全团队评估LLM智能体的提示注入风险。同类可对比的替代方案包括 garak、PyRIT、TextAttack。

上一篇：factualNLG

下一篇：awesome-data-contamination