项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 1659
使用教程
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- git,用于获取仓库代码
- Python 3 运行环境(项目为 Python 编写)
- 按所选基准准备对应的模型、数据集与依赖(README 节选未列出具体包名)
安装与启动步骤
-
1克隆代码仓库
把 MLPerf Inference 仓库完整下载到本地,后续所有基准脚本与参考实现都在该目录内。
git clone https://github.com/mlcommons/inference.git -
2进入项目目录
切换到仓库根目录,确认目录结构,再决定要做哪个基准任务。
cd inference -
3查看基准目录
列出仓库内容,找到各基准与合规检查工具所在子目录;不同任务的说明分散在子目录中。
ls -
4阅读子目录说明
进入目标基准目录查看其 README 与脚本,按其说明自行安装该任务所需依赖并准备数据。
ls */README.md
如何确认成功
能在目录下看到各基准子目录及 README 文件,说明代码已完整获取,可按子目录说明继续配置。
常见问题
Q:为什么没有统一的安装命令?
A:MLPerf Inference 是基准规范与参考实现集合,不同基准模型、后端和数据集的依赖各不相同,需分别查看对应子目录的说明文档。
Q:需要预先准备数据集吗?
A:需要。各基准任务通常要求按该任务说明自行下载和预处理数据,数据准备流程写在对应子目录文档中。
Q:可以只跑其中一个基准吗?
A:可以。仓库按基准任务分目录组织,选定目标基准后只需关注该目录下的脚本与依赖,无需配置全部任务。
注意事项
- 本教程依据 README 节选整理,节选仅含项目简介与论文引用,未给出具体安装命令,命令与依赖请以各子目录文档为准。
- 运行完整基准对存储和内存要求较高,建议先确认目标基准的资源需求。
- 引用该项目成果时,请按 README 要求引用其论文。
核心亮点
- 提供官方参考实现与精度校验工具,测试结果可复现、可审计
- 覆盖离线、单流、多流、服务器等多种推理场景,贴近真实部署形态
- 负载类型丰富,涵盖视觉、语言、语音、推荐等主流模型任务
不足之处
- 依赖数据集与模型权重下载,完整跑通流程的环境准备成本较高
- 面向合规提交的规则较细,初次上手需要阅读较多文档
- 对硬件与驱动版本敏感,不同环境结果差异需要额外排查
适用场景
- 硬件厂商验证新加速卡或服务器的推理吞吐与延迟表现
- 推理框架开发者对比不同后端优化前后的性能差异
- 企业选型时用统一基准评估不同推理平台的性价比
替代项目
mlperf-training、tensorrt、onnxruntime
同类项目推荐
ANeurIPS2024_SPV-MIA
开源
用自提示校准精准识别训练数据,评估大模型隐私泄露风险
[NeurIPS'24] "Membership Inference Attacks against Fine-tuned Large Language Models ···
awesome-language-model-analysis
开源
一份论文清单,帮你快速摸清大模型分析的研究脉络。
This paper list focuses on the theoretical and empirical analysis of language models···
AwesomeResponsibleAI
开源
一站式导航,快速找到负责任 AI 的权威资源与工具。
A curated list of awesome academic research, books, code of ethics, courses, databas···
opencompass
开源
一站式评测大模型,百个数据集横向对比,快速选出最强模型。
OpenCompass is an LLM evaluation platform, supporting a wide range of models from Op···
Offensive-Security-AI-Models
开源
找能聊攻防的开源模型,本地跑不拒答
Uncensored AI models or those fine-tuned for cybersecurity tasks.
benchmark-qed
开源
自动跑分 RAG 系统,选型调参不再拍脑袋
Automated benchmarking of Retrieval-Augmented Generation (RAG) systems
keystone-bench
开源
换掉关键事实,看AI医疗建议会不会跟着变
A clinical decision-evidence benchmark: pull the one fact an answer rests on, and se···
Lookback-Lens
开源
只看注意力图,就能揪出并压制模型胡编乱造
Code for the EMNLP 2024 paper "Detecting and Mitigating Contextual Hallucinations in···
InfiniteBench
开源
测出大模型在10万字长文本下的真实水平
Codes for the paper "∞Bench: Extending Long Context Evaluation Beyond 100K Tokens":···
