cybergym-e2e

用真实开源漏洞,端到端考 AI 找洞、写 PoC、打补丁

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 评测安全 🍴 复刻 29 🐛 待处理 2 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 108
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

cybergym-e2e 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队sunblaze-ucb
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议Apache-2.0
主要语言Shell
GitHub 星标★ 108
上线时间2026-05-14 00:00:00
代码更新2026-11-17
仓库体积1.8 MB
本站数据更新2026-11-19
维护状态活跃
收录时间2026-11-19
浏览次数0

项目介绍

CyberGym-E2E 是一个面向 AI 智能体端到端网络安全能力的大规模评测基准,数据来自广泛使用的开源项目中真实存在的漏洞。它解决的核心问题是:现有安全评测多停留在单点任务(如只做漏洞识别或只做补丁生成),缺少覆盖完整攻防流程的统一测试集。项目把真实漏洞场景组织成可复现的评测任务,让智能体从发现漏洞开始,经过分析定位、生成概念验证(PoC),最终产出修复补丁,形成一条完整的评测链路。核心能力包括:基于真实开源漏洞构建的规模化任务集、端到端流程的自动化评测、对智能体各阶段产出(发现、PoC、补丁)的可量化打分。项目以 Shell 脚本组织运行与评测流程,便于在本地或 CI 中批量执行,适合安全研究人员、AI 智能体开发者评估和对比不同模型在真实安全任务上的表现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-19 · 当前星标 ★ 108

核心亮点

  • 评测任务源自真实开源项目漏洞,贴近实际攻防场景,比合成题目更有参考价值
  • 覆盖从漏洞发现、PoC 生成到补丁编写的完整链路,能评估智能体的端到端能力而非单点表现
  • 以 Shell 脚本组织评测流程,便于批量运行和接入自动化流水线

不足之处

  • 项目处于早期,星标和社区规模较小,任务集覆盖范围与长期维护情况有待观察
  • 文档与使用说明相对简略,新用户上手和自定义任务扩展的成本可能较高

适用场景

  • 安全团队横向对比多个 AI 智能体在真实漏洞上的发现与修复能力
  • AI 智能体研发者在迭代模型时做端到端安全能力的回归评测
  • 高校或研究机构开展自动化漏洞挖掘与补丁生成方向的实验基准

替代项目

Cybench、SWE-bench、SecBench

上一篇:dsh-jailbreak

下一篇:evalchemy

同类项目推荐

awesome-ai-safety 开源

一站式速查AI安全核心论文,快速入门不迷路

A curated list of papers & technical articles on AI Quality & Safety

★ 228 2026-08-09
AI-Infra-Guard 开源

一键扫描AI全链路,提前揪出安全漏洞

A full-stack AI Red Teaming platform securing AI ecosystems via Agent Scan, Skills S···

★ 7545 2026-08-09
SpatialEval 开源

测出大模型空间推理真实水平,选模型不再靠猜

[NeurIPS'24] SpatialEval: a benchmark to evaluate spatial reasoning abilities of MLL···

★ 62 2026-08-09
vidore-benchmark 开源

给文档检索模型打分,看谁找图找得准

Vision Document Retrieval (ViDoRe): Benchmark. Evaluation code for the ColPali paper···

★ 278 2026-08-09
blacksmith 开源

多智能体分工,自动跑完渗透测试全流程

BlacksmithAI is an OPEN-SOURCE advanced penetration testing framework that leverages···

★ 269 2026-10-27
augustus 开源

一条命令跑 190+ 探针,快速测出大模型安全漏洞

LLM security testing framework for detecting prompt injection, jailbreaks, and adver···

★ 325 2026-10-07
promptfoo 开源

一条命令测试你的提示词和模型,防漏洞防降级。

Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning f···

★ 27415 2026-08-09
SECA 开源

用语义等价攻击,自动逼出 LLM 的幻觉破绽

[NeurIPS 2025] SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM ···

★ 73 2026-08-09