optimum-benchmark

一键横评多后端推理性能，选型不靠猜

optimum-benchmark 是 Hugging Face Optimum 生态下的统一多后端基准测试工具，用于对 Transformers、Timm、PEFT、Diffusers、Sentence-Transformers 等模型进行性能评测。它解决的核心问题是：同一模型在不同硬件（CPU/GPU）和不同推理后端（PyTorch、ONNX Runtime、OpenVINO、TensorRT-LLM、Neural Compressor、Text-Generation-Inference）上的性能差异难以横向对比。工具通过统一配置接口，自动加载模型、应用量化与硬件优化方案，并测量延迟、吞吐量、显存占用等关键指标，输出结构化报告。核心能力包括：多后端一键切换、量化方案对比、批大小与序列长度扫描、硬件优化效果量化，以及可复现的基准测试流程。适合模型部署选型、推理加速方案验证和硬件采购评估。