benchmarks 是评测安全领域的开源项目，由 premAI-io 开发，2023 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 142。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-21。MIT 许可证，完全免费，无付费版本。
它主要面向的使用场景是：技术选型时对比不同MLOps工具的性能。同类可对比的替代方案包括 MLPerf、FAI-PEP、AIBench。
benchmarks
跑分选型，用数据说话，避免MLOps工具踩坑。
这是一个用于主流AI模型上MLOps引擎、框架和语言性能对比的基准测试项目。它通过统一的测试脚本和标准化流程，对不同的MLOps工具链（如模型服务引擎、训练框架、推理语言等）进行性能基准测试，并提供可复现的对比结果。项目主要解决MLOps选型时缺乏客观性能数据的问题，帮助开发者根据实际模型和场景选择最优的工具组合。核心能力包括：支持主流AI模型（如Transformer、CNN等）、自动化基准测试脚本、结果可视化与报告生成。项目使用Shell脚本编写，易于扩展和集成到CI/CD流程中。
开源
free
基础设施
GitHub 星标
★ 142
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队premAI-io
所属国家
定价模式free
价格说明开源项目，MIT 许可证，完全免费，无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Shell
技术栈/模型ai,benchmarks,inference-engines,latency,llmops,mlops,performances
GitHub 星标★ 142
30天Star增速
HF 下载量
上线时间2023-10-02 00:00:00
最近更新2026-07-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2
使用教程
核心亮点
- 覆盖主流AI模型，测试结果贴近真实业务场景
- 自动化基准测试脚本，一键运行，结果可复现
- 支持多引擎/框架/语言对比，选型决策更客观
不足之处
- 项目处于早期阶段，测试场景和模型覆盖有限
- 文档和社区支持待观察，上手可能需要自行摸索
适用场景
- 技术选型时对比不同MLOps工具的性能
- 优化现有模型推理性能，定位瓶颈
- 在团队内部建立性能基准基线
替代项目
MLPerf、FAI-PEP、AIBench
项目介绍
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.