CS-Eval

给网络安全大模型打分,快速找出安全能力短板

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 6 🐛 待处理 3 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 68
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可免费使用和部署。

项目预览

CS-Eval 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队CS-EVAL
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
技术栈/模型cybersecurity,evaluation,large-language-models
GitHub 星标★ 68
上线时间2024-05-08 00:00:00
代码更新2024-11-27
仓库体积1.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

CS-Eval 是一个专为网络安全领域基础模型或大语言模型设计的综合评估套件。它解决的核心问题是:当前缺乏针对网络安全能力的系统性评测基准,导致难以客观衡量模型在该领域的真实水平。该套件提供了一套标准化的测试集和评估流程,覆盖网络安全的多个关键子领域,如漏洞检测、恶意代码识别、威胁情报分析等。通过统一的评分机制,CS-Eval 帮助开发者横向对比不同模型的安全能力,并定位模型在具体安全任务上的短板。其核心能力包括多维度任务设计、自动化评估脚本以及可扩展的基准框架,支持研究者根据需求添加新的测试用例。项目处于早期阶段,但为安全AI模型的量化评估提供了基础工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 68

核心亮点

  • 专注网络安全垂直领域,评测维度更贴近实战场景
  • 提供标准化测试集和自动化评分,支持模型间横向对比
  • 框架可扩展,允许自定义测试用例和任务类型

不足之处

  • 项目处于早期,测试集覆盖度和成熟度有限
  • 文档和社区支持尚不完善,上手门槛可能偏高

适用场景

  • 安全团队评估自研或开源大模型的网络防御能力
  • 研究者对比不同模型在漏洞检测、恶意代码识别等任务上的表现
  • 企业选型时筛选具备安全能力的AI模型

替代项目

CyberBench、SecurityEval、SafeRLHF

上一篇:BrainBench

下一篇:MixEval

同类项目推荐

evals-skills 开源

让编码代理手把手帮你搭产品专属 AI 评测

Skills that guide AI coding agents to help you build product-specific AI evals.

★ 1727 2026-09-14
Awesome-LLM-Red-Teaming 开源

一站式收集 LLM 红队测试资源,快速上手安全攻防

A curated list of awesome LLM Red Teaming training, resources, and tools.

★ 148 2026-08-09
ai-jailbreaks 开源

现成越狱提示词库,快速测模型安全边界

AI jailbreaks: 35 paste-ready AI jailbreak prompts for 25+ frontier and open-weight ···

★ 560 2026-10-28
auto_eval 开源

让机器人策略评估全自动,省时省力又客观

AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Rea···

★ 108 2026-08-09
guardrails 开源

给大模型输出装上安全阀,让生产更可靠

Adding guardrails to large language models.

★ 7589 2026-08-09
alpaca_eval 开源

自动评估指令跟随模型,快、便宜、且靠谱。

An automatic evaluator for instruction-following language models. Human-validated, h···

★ 2025 2026-08-09