S-Eval 是评测安全领域的开源项目，由 IS2Lab 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 121。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-16。无官网及在线服务，需自行部署，全部功能免费。
它主要面向的使用场景是：LLM开发者在发布前进行安全测试与合规检查。同类可对比的替代方案包括 SafetyBench、HarmBench、DecodingTrust。
S-Eval
一键自动化评估大模型安全，覆盖多风险场景
S-Eval 是一个面向大型语言模型（LLM）的自动化、综合性安全评估框架。它旨在解决当前 LLM 安全评估中依赖人工、覆盖面窄、难以标准化的问题。项目通过构建多维度的安全测试用例库，覆盖越狱、偏见、有害内容、隐私泄露等典型风险场景，并利用自动化生成与评判机制，对模型输出进行安全等级判定。其核心能力包括：自动化生成对抗性提示、多维度安全维度覆盖、可复现的评估流程，以及详细的评估报告输出。S-Eval 提供了一套标准化的评估接口，可方便地集成到模型开发或部署流程中，帮助开发者量化模型的安全水平，发现潜在漏洞，从而提升 LLM 应用的整体安全性。
开源
free
开源模型
GitHub 星标
★ 121
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队IS2Lab
所属国家
定价模式free
价格说明开源项目，无官网及在线服务，需自行部署，全部功能免费。
访问状态
是否开源是
开源协议NOASSERTION
主要语言
技术栈/模型benchmark,large-language-models,safety-evaluation,test-generation
GitHub 星标★ 121
30天Star增速
HF 下载量
上线时间2024-05-13 00:00:00
最近更新2026-09-16 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数1
使用教程
核心亮点
- 自动化生成对抗性测试用例，减少人工设计成本
- 覆盖越狱、偏见、隐私等多维度安全风险，评估全面
- 提供标准化评估接口，易于集成到现有开发测试流程
不足之处
- 项目处于早期阶段，文档和社区生态尚不完善
- 评估用例库的覆盖度和更新频率有待时间验证
适用场景
- LLM 开发者在发布前进行安全测试与合规检查
- 安全团队对第三方模型进行安全能力横向对比
- 研究机构用于评估模型安全对齐技术的有效性
替代项目
SafetyBench、HarmBench、DecodingTrust
项目介绍
上一篇：search-arena
下一篇：prompttools
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···