项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-19 · 当前星标 ★ 108
核心亮点
- 评测任务源自真实开源项目漏洞,贴近实际攻防场景,比合成题目更有参考价值
- 覆盖从漏洞发现、PoC 生成到补丁编写的完整链路,能评估智能体的端到端能力而非单点表现
- 以 Shell 脚本组织评测流程,便于批量运行和接入自动化流水线
不足之处
- 项目处于早期,星标和社区规模较小,任务集覆盖范围与长期维护情况有待观察
- 文档与使用说明相对简略,新用户上手和自定义任务扩展的成本可能较高
适用场景
- 安全团队横向对比多个 AI 智能体在真实漏洞上的发现与修复能力
- AI 智能体研发者在迭代模型时做端到端安全能力的回归评测
- 高校或研究机构开展自动化漏洞挖掘与补丁生成方向的实验基准
替代项目
Cybench、SWE-bench、SecBench
上一篇:dsh-jailbreak
下一篇:evalchemy
同类项目推荐
Awesome-Deepfake-Generation-and-···
开源
一页看懂Deepfake攻防全图谱,找论文、查代码、跟前沿。
[CSUR 2026] A Survey on Deepfake Generation and Detection
awesome-ai-safety
开源
一站式速查AI安全核心论文,快速入门不迷路
A curated list of papers & technical articles on AI Quality & Safety
AI-Infra-Guard
开源
一键扫描AI全链路,提前揪出安全漏洞
A full-stack AI Red Teaming platform securing AI ecosystems via Agent Scan, Skills S···
SpatialEval
开源
测出大模型空间推理真实水平,选模型不再靠猜
[NeurIPS'24] SpatialEval: a benchmark to evaluate spatial reasoning abilities of MLL···
vidore-benchmark
开源
给文档检索模型打分,看谁找图找得准
Vision Document Retrieval (ViDoRe): Benchmark. Evaluation code for the ColPali paper···
blacksmith
开源
多智能体分工,自动跑完渗透测试全流程
BlacksmithAI is an OPEN-SOURCE advanced penetration testing framework that leverages···
augustus
开源
一条命令跑 190+ 探针,快速测出大模型安全漏洞
LLM security testing framework for detecting prompt injection, jailbreaks, and adver···
promptfoo
开源
一条命令测试你的提示词和模型,防漏洞防降级。
Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning f···
SECA
开源
用语义等价攻击,自动逼出 LLM 的幻觉破绽
[NeurIPS 2025] SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM ···
