Omni-SafetyBench 是评测安全领域的开源项目，由 THU-BPM 开发，2025 年首次发布。
它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 115。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-14。开源基准测试代码，Apache-2.0许可，完全免费，无付费版本。
它主要面向的使用场景是：研究机构评估多模态模型安全性。同类可对比的替代方案包括 SafetyBench、MM-SafetyBench、X-Attack。
Omni-SafetyBench
给音视频大模型做安全体检，发现隐藏风险
Omni-SafetyBench 是一个用于评估音视频大语言模型（AV-LLMs）安全性的基准测试工具，源自 ACM MM 2026 Oral 论文。它解决当前多模态模型在音频和视觉联合输入场景下缺乏系统性安全评估的问题。核心能力包括构建包含恶意音频-视觉对的安全测试集，覆盖越狱攻击、有害内容生成等风险维度，并提供自动化评估流程与指标，帮助研究者和开发者量化模型在音视频模态下的安全表现。该工具支持自定义测试场景，可集成到模型开发管线中，用于发现模型在复杂多模态交互中的潜在安全漏洞。
开源
free
开源模型
GitHub 星标
★ 115
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队THU-BPM
所属国家
定价模式free
价格说明开源基准测试代码，Apache-2.0许可，完全免费，无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型benchmark,evaluation,large-language-models,llm,ollm,omni-modal,safety,trustworthy-ai
GitHub 星标★ 115
30天Star增速
HF 下载量
上线时间2025-08-10 00:00:00
最近更新2026-09-14 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2
使用教程
核心亮点
- 首个聚焦音频-视觉联合输入的安全基准，填补领域空白
- 基于 ACM MM 论文，测试场景设计有学术严谨性
- 提供自动化评估脚本，可直接集成到模型测试流程
不足之处
- 项目处于早期，文档和社区支持待观察
- 基准覆盖场景可能有限，需自行扩展
适用场景
- 研究机构评估多模态模型安全性
- AI 企业发布前安全合规测试
- 开发者对比不同 AV-LLMs 的安全性能
替代项目
SafetyBench、MM-SafetyBench、X-Attack
项目介绍
上一篇：fusion_bench
下一篇：langtest
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.