inference

统一口径跑推理基准,性能对比有据可依

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 650 🐛 待处理 204 👀 关注 55
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1659
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,遵循MLCommons许可

项目预览

inference 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队mlcommons
定价模式🏷️完全免费
价格说明开源免费,遵循MLCommons许可
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型benchmark,machine-learning
GitHub 星标★ 1659
上线时间2018-09-13 00:00:00
代码更新2026-11-06
仓库体积752.1 MB
本站数据更新2026-11-22
维护状态较活跃
收录时间2026-11-22
浏览次数0

项目介绍

MLPerf Inference 是 MLCommons 推出的推理性能基准测试参考实现集合,用 Python 编写,为数据中心、边缘和移动端等多类硬件平台提供统一的推理负载定义与测试流程。项目解决的是不同厂商、不同框架之间推理性能难以横向比较的问题:它把图像分类、目标检测、自然语言处理、语音识别、推荐系统等典型负载固化为可复现的基准任务,并规定数据预处理、精度校验、延迟与吞吐统计口径。核心能力包括:提供各基准模型的参考实现与运行脚本;支持多种推理后端与执行模式(离线、单流、多流、服务器等场景);内置精度验证与合规性检查工具,确保提交结果可审计;配套数据集准备与结果汇总流程。项目本身是评测规范落地的工程载体,适合硬件厂商、框架开发者和性能优化工程师用来验证推理栈性能,也适合研究者作为可复现的推理负载来源。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 1659

使用教程

难度:进阶 约 15 分钟 部署方式:本地安装 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • git,用于获取仓库代码
  • Python 3 运行环境(项目为 Python 编写)
  • 按所选基准准备对应的模型、数据集与依赖(README 节选未列出具体包名)

安装与启动步骤

  1. 1克隆代码仓库

    把 MLPerf Inference 仓库完整下载到本地,后续所有基准脚本与参考实现都在该目录内。

    git clone https://github.com/mlcommons/inference.git
  2. 2进入项目目录

    切换到仓库根目录,确认目录结构,再决定要做哪个基准任务。

    cd inference
  3. 3查看基准目录

    列出仓库内容,找到各基准与合规检查工具所在子目录;不同任务的说明分散在子目录中。

    ls
  4. 4阅读子目录说明

    进入目标基准目录查看其 README 与脚本,按其说明自行安装该任务所需依赖并准备数据。

    ls */README.md

如何确认成功

能在目录下看到各基准子目录及 README 文件,说明代码已完整获取,可按子目录说明继续配置。

常见问题

Q:为什么没有统一的安装命令?

A:MLPerf Inference 是基准规范与参考实现集合,不同基准模型、后端和数据集的依赖各不相同,需分别查看对应子目录的说明文档。

Q:需要预先准备数据集吗?

A:需要。各基准任务通常要求按该任务说明自行下载和预处理数据,数据准备流程写在对应子目录文档中。

Q:可以只跑其中一个基准吗?

A:可以。仓库按基准任务分目录组织,选定目标基准后只需关注该目录下的脚本与依赖,无需配置全部任务。

注意事项

  • 本教程依据 README 节选整理,节选仅含项目简介与论文引用,未给出具体安装命令,命令与依赖请以各子目录文档为准。
  • 运行完整基准对存储和内存要求较高,建议先确认目标基准的资源需求。
  • 引用该项目成果时,请按 README 要求引用其论文。

核心亮点

  • 提供官方参考实现与精度校验工具,测试结果可复现、可审计
  • 覆盖离线、单流、多流、服务器等多种推理场景,贴近真实部署形态
  • 负载类型丰富,涵盖视觉、语言、语音、推荐等主流模型任务

不足之处

  • 依赖数据集与模型权重下载,完整跑通流程的环境准备成本较高
  • 面向合规提交的规则较细,初次上手需要阅读较多文档
  • 对硬件与驱动版本敏感,不同环境结果差异需要额外排查

适用场景

  • 硬件厂商验证新加速卡或服务器的推理吞吐与延迟表现
  • 推理框架开发者对比不同后端优化前后的性能差异
  • 企业选型时用统一基准评估不同推理平台的性价比

替代项目

mlperf-training、tensorrt、onnxruntime

同类项目推荐

ANeurIPS2024_SPV-MIA 开源

用自提示校准精准识别训练数据,评估大模型隐私泄露风险

[NeurIPS'24] "Membership Inference Attacks against Fine-tuned Large Language Models ···

★ 183 2026-08-09
awesome-language-model-analysis 开源

一份论文清单,帮你快速摸清大模型分析的研究脉络。

This paper list focuses on the theoretical and empirical analysis of language models···

★ 103 2026-08-09
AwesomeResponsibleAI 开源

一站式导航,快速找到负责任 AI 的权威资源与工具。

A curated list of awesome academic research, books, code of ethics, courses, databas···

★ 158 2026-08-10
opencompass 开源

一站式评测大模型,百个数据集横向对比,快速选出最强模型。

OpenCompass is an LLM evaluation platform, supporting a wide range of models from Op···

★ 7609 2026-08-09
benchmark-qed 开源

自动跑分 RAG 系统,选型调参不再拍脑袋

Automated benchmarking of Retrieval-Augmented Generation (RAG) systems

★ 105 2026-10-15
keystone-bench 开源

换掉关键事实,看AI医疗建议会不会跟着变

A clinical decision-evidence benchmark: pull the one fact an answer rests on, and se···

★ 1130 2026-09-28
Lookback-Lens 开源

只看注意力图,就能揪出并压制模型胡编乱造

Code for the EMNLP 2024 paper "Detecting and Mitigating Contextual Hallucinations in···

★ 154 2026-08-09
InfiniteBench 开源

测出大模型在10万字长文本下的真实水平

Codes for the paper "∞Bench: Extending Long Context Evaluation Beyond 100K Tokens":···

★ 394 2026-08-09