项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-23 · 当前星标 ★ 233
技术标签
核心亮点
- 基于真实世界漏洞构建样本，评测贴近生产环境而非刷题式代码生成
- 覆盖补丁生成到测试验证的完整链路，指标可量化、可复现
- 提供 Python 工具链，便于研究者快速接入自有模型做横向对比
不足之处
- 项目处于早期，数据集规模与漏洞类型覆盖面仍有限
- 社区生态和第三方复现结果较少，长期维护情况待观察
适用场景
- 安全团队评估不同 LLM 在真实 CVE 修复任务上的能力差异
- 模型厂商在漏洞修复方向做微调前后的基准对比
- 学术研究中对自动化漏洞修复方法进行可复现实验
替代项目
SWE-bench、SecBench
上一篇：MemoryAgentBench
下一篇：Frontier-CS
同类项目推荐
llm-as-a-verifier
开源
给任意 agent 加个 LLM 裁判，不训练也能细粒度打分
LLM-as-a-Verifier is a general-purpose framework that provides fine-grained feedback···
athina-sdk
开源
写测试、跑监控，让 LLM 应用在生产环境不翻车
LLM Testing SDK that helps you write and run tests to monitor your LLM app in produc···
genai-bench
开源
token 级压测 LLM 服务，选型调优有据可依
Genai-bench is a powerful benchmark tool designed for comprehensive token-level perf···
llm-guard
开源
给 LLM 应用加把安全锁，防注入防泄露
The Security Toolkit for LLM Interactions
empirica
开源
给 AI 装上可靠性仪表盘，让每次输出可测量、可拦截、可信赖。
Make AI agents and AI workflows measurably reliable. Epistemic measurement, Noetic R···
PoisonedRAG
开源
看穿 RAG 软肋：用知识投毒测试你的大模型防线
[USENIX Security 2025] PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmen···
AssetOpsBench
开源
工业设备运维智能体，一套基准直接评测落地
AssetOpsBench - Industry 4.0: A unified benchmark and framework for building, orches···
VEFX-Bench
开源
给视频编辑和特效模型打分，选型不再靠感觉
VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects
llm-coding-benchmark
开源
自动跑编码题，横向比出哪个大模型写代码更强
Simple benchmark to test the most popular open source and commercial LLMs with autom···