modelbench

给 AI 模型做安全体检，一键出详细报告

开源 unknown 评测安全
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 136
维护状态 活跃
是否开源 是
定价模式 unknown

项目预览

项目数据

分类评测安全
开发团队mlcommons
所属国家
官网地址https://mlcommons.org/ailuminate
GitHubhttps://github.com/mlcommons/modelbench
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型
GitHub 星标★ 136
30天Star增速
HF 下载量
上线时间2023-11-10 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-10
浏览次数0

项目介绍

modelbench 是一个用 Python 编写的 AI 模型安全评测工具，目标是把「模型安全性」从主观印象变成可量化、可复现的报告。它内置或可接入多套安全基准（如越狱、有害内容、偏见等），对目标模型批量发起测试用例，自动收集回答并打分，最终生成包含通过率、失败样例和分类明细的可视化报告。相比自己写脚本拼评测，它把测试集管理、调用模型、评分逻辑和结果展示串成一条流水线，方便团队在模型迭代或上线前做回归对比，也便于向非技术同学解释模型在哪些风险维度上表现不佳。项目处于早期阶段，星标数不高，但定位清晰：面向需要做安全合规检查的开发者、评测团队和 AI 产品负责人，用较低成本获得一份结构化的安全体检结果。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 把安全评测流程标准化，测试、打分、报告一体化，省去自己拼脚本
  • 报告按风险类别展示通过率和失败样例，便于定位模型薄弱环节
  • Python 实现，容易接入现有模型调用链路和 CI 流程

不足之处

  • 项目早期，内置基准数量和覆盖面可能有限
  • 文档与社区生态尚在建设中，遇到问题可参考的资料较少

适用场景

  • 模型上线前做安全合规回归测试
  • 对比不同版本或不同模型的安全表现
  • 向团队或客户展示模型风险维度的量化结果

替代项目

garak、promptfoo、DeepEval

上一篇：Ai-jailbreak

下一篇：AISafetyHot-Hub

同类项目推荐

akto 开源

给 AI 应用做安全体检，防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1527 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾，自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击，提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 3003 2026-09-12
Tracely-ai 开源

把生产事故变成回归测试，合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1537 2026-08-24