exploitgym

用真实漏洞测 AI 能不能写出能跑的利用代码

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 163 🐛 待处理 15 👀 关注 12
GitHub ↗
GitHub 星标 ★ 1312
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源基准,免费使用

项目预览

exploitgym 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队sunblaze-ucb
定价模式🏷️完全免费
价格说明开源基准,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言C
GitHub 星标★ 1312
上线时间2026-06-02 00:00:00
代码更新2026-11-14
仓库体积13.9 MB
本站数据更新2026-11-22
维护状态较活跃
收录时间2026-10-08
浏览次数2

项目介绍

ExploitGym 是一个大规模、贴近真实场景的漏洞利用基准测试集,基于真实世界披露的漏洞构建,专门用于评估 AI 智能体开发漏洞利用程序(exploit)的能力。它解决的核心问题是:现有安全评测多停留在问答或静态分析层面,无法衡量 AI 从漏洞信息到可运行利用代码的端到端实战能力。项目用 C 语言实现,围绕真实漏洞提供可复现的环境与评分机制,让研究者能横向对比不同模型或 agent 框架在漏洞利用任务上的成功率、稳定性与效率。核心能力包括:真实漏洞样本库、自动化评测流程、可扩展的任务接口,以及面向 agent 的交互式执行环境。适合安全研究、AI 能力评测和红队自动化方向使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-08 · 当前星标 ★ 1312

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 7 步

环境要求

  • Python 环境与 uv 包管理器
  • Docker(用于拉取 ubuntu/squid 及任务镜像)
  • 可执行 bash 脚本的类 Unix 环境
  • OpenAI 与 Anthropic 的 API Key(供 LLM proxy 使用)

安装与启动步骤

  1. 1同步 Python 依赖

    在仓库根目录用 uv 安装依赖,--extra proxy 会装上 LLM 代理相关依赖。

    uv sync --extra proxy
  2. 2构建运行时与任务数据

    脚本会构建 gdb、socat、nc、node 等运行时以及 agent CLI,并解压任务数据,耗时较长。

    bash scripts/setup/setup_data.sh
  3. 3验证安装

    运行校验脚本确认前面的运行时构建与任务数据抽取是否完整可用。

    bash scripts/setup/validate.sh
  4. 4拉取防火墙镜像

    控制器依赖 Squid 镜像做网络出口控制,需先拉取到本地。

    docker pull ubuntu/squid:latest
  5. 5拉取任务镜像

    按 sample.txt 列出的任务 ID 批量拉取对应漏洞环境的 Docker 镜像。

    uv run scripts/setup/pull_images.py data/task_ids/sample.txt
  6. 6配置密钥并启动服务

    先导出两家模型的 API Key,再运行 pre_run.py:它会做就绪检查并启动 controller、firewall、LLM proxy 三件套。

    export OPENAI_API_KEY=sk-xxxxxxxx
    export ANTHROPIC_API_KEY=sk-ant-xxxxxxxx
    uv run scripts/setup/pre_run.py data/task_ids/sample.txt
  7. 7导出控制器密钥并跑 Agent

    把 pre_run.py 打印出来的四个环境变量原样导出,runner 需要它们签发任务 token 并推导预期 flag,然后查看 run_agent 用法。

    export CYBERGYM_ADMIN_KEY=xxxxxxxx
    export CYBERGYM_SERVER_SALT=xxxxxxxx
    export CYBERGYM_SERVER_FLAG_SEED=xxxxxxxx
    export CYBERGYM_SERVER_API_KEY=xxxxxxxx
    uv run examples/run_agent.py --help

关键配置

配置项必填说明示例
OPENAI_API_KEY是供 LLM proxy 调用 OpenAI 模型的密钥sk-xxxxxxxx
ANTHROPIC_API_KEY是供 LLM proxy 调用 Anthropic 模型的密钥sk-ant-xxxxxxxx
CYBERGYM_ADMIN_KEY是LLM proxy 管理员密钥,由 pre_run.py 打印xxxxxxxx
CYBERGYM_SERVER_SALT是控制器 token 盐值,两端必须一致xxxxxxxx
CYBERGYM_SERVER_FLAG_SEED是用于推导预期 flag 的随机种子xxxxxxxx
CYBERGYM_SERVER_API_KEY是控制器 API 访问密钥,由启动时生成xxxxxxxx

如何确认成功

validate.sh 无报错,且 pre_run.py 的就绪检查通过、成功启动 controller、firewall、LLM proxy 并打印出所需环境变量。

常见问题

Q:为什么仓库里找不到现成的密钥?

A:项目不硬编码任何密钥,控制器的 token salt、flag seed 和 API key 都在启动时自动生成,或从 CYBERGYM_SERVER_* 环境变量读取。

Q:重复运行 pre_run.py 会冲突吗?

A:不会,它带有就绪检查,能自动识别已经在运行的 controller、firewall 和 LLM proxy,避免重复启动。

Q:不想用 pre_run.py 自动启动怎么办?

A:可以按 docs/eval.md 的说明手工分别启动这三个服务,端口与参数以该文档为准。

Q:系统依赖、GDB、node 和 agent CLI 怎么装?

A:README 指向 docs/setup.md,里面才有完整的系统依赖、GDB、静态 node 和 agent CLI 安装步骤。

注意事项

  • 控制器生成的 salt、flag seed、API key 必须与 runner 使用的值完全一致,否则任务 token 校验和 flag 推导会失败。
  • 步骤 6、7 中的 export 只在当前 shell 会话生效,换终端后需要重新导出。
  • 运行任务前必须先拉取对应任务的 Docker 镜像,否则评测无法启动环境。
  • 样例任务列表使用 data/task_ids/sample.txt,替换成自己的任务 ID 文件即可跑其他任务。

核心亮点

  • 基于真实披露漏洞构建,评测结果比合成题目更贴近实战
  • 面向 AI agent 端到端评测,覆盖从漏洞信息到可运行 exploit 的完整链路
  • 提供可复现环境与自动化评分,方便横向对比不同模型和 agent 框架

不足之处

  • 项目较新、星标规模有限,生态和第三方集成尚在早期
  • 以 C 语言为主,对非 C 漏洞或 Web 类场景的覆盖可能有限

适用场景

  • 安全团队评测自家 AI agent 的漏洞利用实战能力
  • 学术研究对比不同大模型在真实漏洞上的 exploit 生成成功率
  • 红队自动化工具选型时做基准测试与能力摸底

替代项目

Cybench、NYU CTF Bench

同类项目推荐

glide 开源

让 GenAI 评测从手工对比变成可复用流程

Helping humans ride the GenAI evaluation wave

★ 120 2026-11-16
DeepSec 开源

AI 写码,DeepSec 把关,实时防漏洞,自动测安全。

DeepSec — AI Security Offense & Defense Platform. Shield audits AI-generated code f···

★ 518 2026-08-09
geobench 开源

用 GeoGuessr 游戏场景,测出 AI 的地理定位智商。

GeoGuessr benchmark for language models

★ 66 2026-08-09
FDAbench 开源

给数据智能体打分,看谁更会分析异构数据

[KDD’26] Official repository for the paper “FDABench: A Benchmark for Data Agents ···

★ 84 2026-08-09
photoguard 开源

给图片加“免疫”,让AI改不动你的图

Raising the Cost of Malicious AI-Powered Image Editing

★ 1000 2026-08-09
modelbench 开源

给 AI 模型做安全体检,一键出详细报告

Run safety benchmarks against AI models and view detailed reports showing how well t···

★ 139 2026-10-10
evals 开源

用真实 React Native 任务,测出 AI 编码真本事。

A benchmark suite for evaluating how coding models solve real React Native tasks.

★ 112 2026-08-10
MemoryAgentBench 开源

多轮对话里测 Agent 记不记得住、找不找得回

Open source code for ICLR 2026 Paper: Evaluating Memory in LLM Agents via Incrementa···

★ 492 2026-10-23
trulens 开源

给LLM应用装上仪表盘,量化评估效果,快速定位问题。

Evaluation and Tracking for LLM Experiments and AI Agents

★ 3665 2026-08-09