optimum-benchmark

一键横评多后端推理性能，选型不靠猜

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 评测安全 🍴 复刻 66 🐛 待处理 9 👀 关注 5
GitHub ↗
GitHub 星标 ★ 341
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，Apache 2.0 许可证

项目预览

optimum-benchmark 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类评测安全
开发团队huggingface
GitHubhttps://github.com/huggingface/optimum-benchmark
定价模式🏷️完全免费
价格说明开源免费，Apache 2.0 许可证
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型benchmark,neural-compressor,onnxruntime,openvino,pytorch,tensorrt-llm,text-generation-inference
GitHub 星标★ 341
上线时间2023-04-26 00:00:00
代码更新2026-10-14
仓库体积8.6 MB
本站数据更新2026-11-03
维护状态较活跃
收录时间2026-09-18
浏览次数1

项目介绍

optimum-benchmark 是 Hugging Face Optimum 生态下的统一多后端基准测试工具，用于对 Transformers、Timm、PEFT、Diffusers、Sentence-Transformers 等模型进行性能评测。它解决的核心问题是：同一模型在不同硬件（CPU/GPU）和不同推理后端（PyTorch、ONNX Runtime、OpenVINO、TensorRT-LLM、Neural Compressor、Text-Generation-Inference）上的性能差异难以横向对比。工具通过统一配置接口，自动加载模型、应用量化与硬件优化方案，并测量延迟、吞吐量、显存占用等关键指标，输出结构化报告。核心能力包括：多后端一键切换、量化方案对比、批大小与序列长度扫描、硬件优化效果量化，以及可复现的基准测试流程。适合模型部署选型、推理加速方案验证和硬件采购评估。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-18 · 当前星标 ★ 341

核心亮点

  • 统一接口覆盖 PyTorch、ONNX Runtime、OpenVINO、TensorRT-LLM 等主流推理后端，横向对比成本低
  • 深度集成 Optimum 的量化与硬件优化方案，能直接量化优化收益
  • 支持 Transformers、Diffusers、PEFT 等多类模型，场景覆盖广

不足之处

  • 项目星标较少，社区生态和第三方教程相对有限
  • 依赖较多后端库，环境配置复杂，部分后端安装门槛高

适用场景

  • 模型部署前对比不同推理后端的延迟与吞吐
  • 验证量化方案（如 INT8、FP16）对性能的实际影响
  • 硬件采购或云实例选型时评估不同 GPU/CPU 的推理表现

替代项目

vLLM、TensorRT-LLM、MLPerf Inference

上一篇：LiveBench

下一篇：PySODEvalToolkit

同类项目推荐

parea-sdk-py 开源

一站式搞定 LLM 应用的测试、评估与监控

Python SDK for experimenting, testing, evaluating & monitoring LLM-powered applicati···

★ 82 2026-08-09
param 开源

参数化基准组合，一键测出训练推理平台真实性能

PArametrized Recommendation and Ai Model benchmark is a repository for development o···

★ 156 2026-10-31
stride-gpt 开源

输入应用描述，几分钟自动生成 STRIDE 威胁模型

An AI-powered threat modeling tool that leverages OpenAI's GPT models to generate th···

★ 1149 2026-09-16
VEFX-Bench 开源

给视频编辑和特效模型打分，选型不再靠感觉

VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects

★ 178 2026-08-09
Modality-Integration-Rate 开源

量化视觉-语言模型跨模态对齐，诊断融合短板

[ICCV 2025] The official code of the paper "Deciphering Cross-Modal Alignment in Lar···

★ 114 2026-08-09
gpt-instruct 开源

绕过 GPT 安全限制，让 Codex 乖乖执行代码任务

A Codex jailbreak prompt and test pack for gpt. 针对 gpt 系列的 Codex 破甲提示词与测···

★ 11087 2026-10-17
ragas 开源

给 LLM 应用打分，快速定位 RAG 短板

Supercharge Your LLM Application Evaluations

★ 16216 2026-08-09
rhesis 开源

让领域专家给AI当教练，用标注反馈驱动智能体快速进化

The collaboration layer for AI teams: domain experts review and annotate agent behav···

★ 402 2026-08-09
aegis 开源

给大模型装上会自我进化的安全防火墙

Self-hardening firewall for large language models

★ 269 2026-08-09