
exploitgym
用真实漏洞测 AI 能不能写出能跑的利用代码
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-08 · 当前星标 ★ 1312
使用教程
环境要求
- Python 环境与 uv 包管理器
- Docker(用于拉取 ubuntu/squid 及任务镜像)
- 可执行 bash 脚本的类 Unix 环境
- OpenAI 与 Anthropic 的 API Key(供 LLM proxy 使用)
安装与启动步骤
-
1同步 Python 依赖
在仓库根目录用 uv 安装依赖,--extra proxy 会装上 LLM 代理相关依赖。
uv sync --extra proxy -
2构建运行时与任务数据
脚本会构建 gdb、socat、nc、node 等运行时以及 agent CLI,并解压任务数据,耗时较长。
bash scripts/setup/setup_data.sh -
3验证安装
运行校验脚本确认前面的运行时构建与任务数据抽取是否完整可用。
bash scripts/setup/validate.sh -
4拉取防火墙镜像
控制器依赖 Squid 镜像做网络出口控制,需先拉取到本地。
docker pull ubuntu/squid:latest -
5拉取任务镜像
按 sample.txt 列出的任务 ID 批量拉取对应漏洞环境的 Docker 镜像。
uv run scripts/setup/pull_images.py data/task_ids/sample.txt -
6配置密钥并启动服务
先导出两家模型的 API Key,再运行 pre_run.py:它会做就绪检查并启动 controller、firewall、LLM proxy 三件套。
export OPENAI_API_KEY=sk-xxxxxxxx export ANTHROPIC_API_KEY=sk-ant-xxxxxxxx uv run scripts/setup/pre_run.py data/task_ids/sample.txt -
7导出控制器密钥并跑 Agent
把 pre_run.py 打印出来的四个环境变量原样导出,runner 需要它们签发任务 token 并推导预期 flag,然后查看 run_agent 用法。
export CYBERGYM_ADMIN_KEY=xxxxxxxx export CYBERGYM_SERVER_SALT=xxxxxxxx export CYBERGYM_SERVER_FLAG_SEED=xxxxxxxx export CYBERGYM_SERVER_API_KEY=xxxxxxxx uv run examples/run_agent.py --help
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
OPENAI_API_KEY | 是 | 供 LLM proxy 调用 OpenAI 模型的密钥 | sk-xxxxxxxx |
ANTHROPIC_API_KEY | 是 | 供 LLM proxy 调用 Anthropic 模型的密钥 | sk-ant-xxxxxxxx |
CYBERGYM_ADMIN_KEY | 是 | LLM proxy 管理员密钥,由 pre_run.py 打印 | xxxxxxxx |
CYBERGYM_SERVER_SALT | 是 | 控制器 token 盐值,两端必须一致 | xxxxxxxx |
CYBERGYM_SERVER_FLAG_SEED | 是 | 用于推导预期 flag 的随机种子 | xxxxxxxx |
CYBERGYM_SERVER_API_KEY | 是 | 控制器 API 访问密钥,由启动时生成 | xxxxxxxx |
如何确认成功
validate.sh 无报错,且 pre_run.py 的就绪检查通过、成功启动 controller、firewall、LLM proxy 并打印出所需环境变量。
常见问题
Q:为什么仓库里找不到现成的密钥?
A:项目不硬编码任何密钥,控制器的 token salt、flag seed 和 API key 都在启动时自动生成,或从 CYBERGYM_SERVER_* 环境变量读取。
Q:重复运行 pre_run.py 会冲突吗?
A:不会,它带有就绪检查,能自动识别已经在运行的 controller、firewall 和 LLM proxy,避免重复启动。
Q:不想用 pre_run.py 自动启动怎么办?
A:可以按 docs/eval.md 的说明手工分别启动这三个服务,端口与参数以该文档为准。
Q:系统依赖、GDB、node 和 agent CLI 怎么装?
A:README 指向 docs/setup.md,里面才有完整的系统依赖、GDB、静态 node 和 agent CLI 安装步骤。
注意事项
- 控制器生成的 salt、flag seed、API key 必须与 runner 使用的值完全一致,否则任务 token 校验和 flag 推导会失败。
- 步骤 6、7 中的 export 只在当前 shell 会话生效,换终端后需要重新导出。
- 运行任务前必须先拉取对应任务的 Docker 镜像,否则评测无法启动环境。
- 样例任务列表使用 data/task_ids/sample.txt,替换成自己的任务 ID 文件即可跑其他任务。
核心亮点
- 基于真实披露漏洞构建,评测结果比合成题目更贴近实战
- 面向 AI agent 端到端评测,覆盖从漏洞信息到可运行 exploit 的完整链路
- 提供可复现环境与自动化评分,方便横向对比不同模型和 agent 框架
不足之处
- 项目较新、星标规模有限,生态和第三方集成尚在早期
- 以 C 语言为主,对非 C 漏洞或 Web 类场景的覆盖可能有限
适用场景
- 安全团队评测自家 AI agent 的漏洞利用实战能力
- 学术研究对比不同大模型在真实漏洞上的 exploit 生成成功率
- 红队自动化工具选型时做基准测试与能力摸底
替代项目
Cybench、NYU CTF Bench
同类项目推荐
glide
开源
让 GenAI 评测从手工对比变成可复用流程
Helping humans ride the GenAI evaluation wave
DeepSec
开源
AI 写码,DeepSec 把关,实时防漏洞,自动测安全。
DeepSec — AI Security Offense & Defense Platform. Shield audits AI-generated code f···
geobench
开源
用 GeoGuessr 游戏场景,测出 AI 的地理定位智商。
GeoGuessr benchmark for language models
FDAbench
开源
给数据智能体打分,看谁更会分析异构数据
[KDD’26] Official repository for the paper “FDABench: A Benchmark for Data Agents ···
photoguard
开源
给图片加“免疫”,让AI改不动你的图
Raising the Cost of Malicious AI-Powered Image Editing
modelbench
开源
给 AI 模型做安全体检,一键出详细报告
Run safety benchmarks against AI models and view detailed reports showing how well t···
evals
开源
用真实 React Native 任务,测出 AI 编码真本事。
A benchmark suite for evaluating how coding models solve real React Native tasks.
MemoryAgentBench
开源
多轮对话里测 Agent 记不记得住、找不找得回
Open source code for ICLR 2026 Paper: Evaluating Memory in LLM Agents via Incrementa···
trulens
开源
给LLM应用装上仪表盘,量化评估效果,快速定位问题。
Evaluation and Tracking for LLM Experiments and AI Agents