S-Eval

一键自动化评估大模型安全,覆盖多风险场景

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 7 🐛 待处理 4 👀 关注 4
GitHub ↗
GitHub 星标 ★ 123
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,无官网及在线服务,需自行部署,全部功能免费。

项目预览

S-Eval 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队IS2Lab
定价模式🏷️完全免费
价格说明开源项目,无官网及在线服务,需自行部署,全部功能免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
技术栈/模型benchmark,large-language-models,safety-evaluation,test-generation
GitHub 星标★ 123
上线时间2024-05-13 00:00:00
代码更新2026-02-13
仓库体积104.3 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

S-Eval 是一个面向大型语言模型(LLM)的自动化、综合性安全评估框架。它旨在解决当前 LLM 安全评估中依赖人工、覆盖面窄、难以标准化的问题。项目通过构建多维度的安全测试用例库,覆盖越狱、偏见、有害内容、隐私泄露等典型风险场景,并利用自动化生成与评判机制,对模型输出进行安全等级判定。其核心能力包括:自动化生成对抗性提示、多维度安全维度覆盖、可复现的评估流程,以及详细的评估报告输出。S-Eval 提供了一套标准化的评估接口,可方便地集成到模型开发或部署流程中,帮助开发者量化模型的安全水平,发现潜在漏洞,从而提升 LLM 应用的整体安全性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 123

核心亮点

  • 自动化生成对抗性测试用例,减少人工设计成本
  • 覆盖越狱、偏见、隐私等多维度安全风险,评估全面
  • 提供标准化评估接口,易于集成到现有开发测试流程

不足之处

  • 项目处于早期阶段,文档和社区生态尚不完善
  • 评估用例库的覆盖度和更新频率有待时间验证

适用场景

  • LLM 开发者在发布前进行安全测试与合规检查
  • 安全团队对第三方模型进行安全能力横向对比
  • 研究机构用于评估模型安全对齐技术的有效性

替代项目

SafetyBench、HarmBench、DecodingTrust

上一篇:search-arena

下一篇:prompttools

同类项目推荐

empirical 开源

用数据说话,系统化测试评估你的 LLM 应用

Test and evaluate LLMs and model configurations, across all the scenarios that matte···

★ 166 2026-08-09
Oversight 开源

模块化拆解 LLM,自动红队测试,发现漏洞

A Completely Modular LLM Reverse Engineering, Red Teaming, and Vulnerability Researc···

★ 55 2026-08-09
Omni-SafetyBench 开源

给音视频大模型做安全体检,发现隐藏风险

[ACM MM 2026] Code for paper "Omni-SafetyBench: A Benchmark for Safety Evaluation of···

★ 116 2026-08-09
Anti-Autoresearch 开源

一键给自动科研论文做取证,揪出编造与不自洽

Don't trust an autoresearch paper at face value. Reviewer-side integrity forensics (···

★ 179 2026-09-29
rsi_eval 开源

一条命令跑通 agent 自我改进的多轮基准评测

A lightweight Python SDK and CLI for evaluating recursive self-improvement (RSI) met···

★ 426 2026-11-05
augustus 开源

一条命令跑 190+ 探针,快速测出大模型安全漏洞

LLM security testing framework for detecting prompt injection, jailbreaks, and adver···

★ 319 2026-10-07
ai-scanner 开源

一条命令给 AI 模型做安全体检,提前发现越狱和泄露风险

AI model safety scanner built on NVIDIA garak

★ 681 2026-10-10
factcircuit 开源

给 AI 事实核查装上可审计的证据链和可复现评测

FactCircuit: an auditable claim-and-evidence verification loop with immutable proven···

★ 926 2026-10-04
leva 开源

用线上真实数据回放评测,让 Rails 的 LLM 改动不再靠拍脑袋

LLM Evaluation Framework for Rails apps to be used with production data.

★ 148 2026-09-25