optimum-intel

让 Hugging Face 模型在 Intel 芯片上跑得更快，几行代码实现加速。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 296 🐛 待处理 210 👀 关注 36
GitHub ↗
GitHub 星标 ★ 627
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，完全免费，无付费版本。

项目预览

optimum-intel 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队huggingface
GitHubhttps://github.com/huggingface/optimum-intel
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型asr,diffusers,llm,omni,openvino,openvino-genai,optimization,transformers,tts,vlm
GitHub 星标★ 627
上线时间2022-05-25 00:00:00
代码更新2026-11-09
仓库体积19.9 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数5

项目介绍

Optimum Intel 是 Hugging Face 与 Intel 合作推出的优化工具库，旨在通过 Intel 的 OpenVINO 等工具加速 Transformers、Diffusers 等模型的推理。它解决了 Intel 硬件上运行 AI 模型性能不佳的问题，提供模型转换、量化、图优化等能力，支持 LLM、ASR、TTS、VLM 等多种模型类型。核心能力包括将 PyTorch/TensorFlow 模型导出为 OpenVINO IR 格式，应用动态量化、静态量化、权重压缩等优化，并集成到 Hugging Face 的 pipeline 中，实现无缝加速。项目还提供 Optimum Intel 的生成式 AI 接口（OpenVINO GenAI），简化生成模型的部署。整体上，它是连接 Hugging Face 生态与 Intel 硬件的桥梁，让开发者能轻松获得接近原生的推理性能。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 627

使用教程

难度：进阶 约 45 分钟 部署方式：本地安装 4 步

环境要求

  • Intel CPU 或显卡
  • Python 3.9+
  • 模型权重

安装与启动步骤

  1. 1装库

    官方建议直接装最新版，模型支持更新很快。

    pip install -U optimum-intel

  2. 2导出成中间格式

    用命令行把模型转成推理引擎的中间表示，这一步决定后续速度。

    optimum-cli export openvino --model TinyLlama/TinyLlama_v1.1 ov_out

  3. 3按需量化

    权重压缩能大幅降内存，代价是精度，二选一前先测。

  4. 4加载推理

    换成对应的模型类加载导出目录，其余调用方式与原来一致。

如何确认成功

同一模型在导出前后跑同一批输入，输出接近且推理延迟明显下降

注意事项

  • 收益只在 Intel 硬件上，其他平台用它没有意义。
  • 支持的模型类型有明确清单，冷门结构要先查能不能导。
  • 量化档位越高越省内存也越损精度，别默认选最激进那档。
  • 导出是一次性成本，之后复用目录即可。

核心亮点

  • 无缝集成 Transformers 和 Diffusers，只需替换 Optimum 模型类即可获得加速
  • 提供 OpenVINO 模型导出和多种量化方案，显著降低推理延迟和内存占用
  • 支持从 LLM 到 TTS 的广泛模型类型，覆盖生成式 AI 场景

不足之处

  • 早期项目，文档和社区支持尚不完善
  • 主要针对 Intel 硬件优化，对非 Intel 平台支持有限

适用场景

  • 在 Intel CPU/GPU 上部署 Hugging Face 的 LLM 或 Diffusers 模型，提升响应速度
  • 将训练好的模型转换为 OpenVINO 格式，用于边缘设备或资源受限环境
  • 在 Intel 服务器上运行 ASR/TTS 服务，降低推理成本

替代项目

Optimum、OpenVINO、ONNX Runtime

上一篇：nobodywho

下一篇：wyoming_openai

同类项目推荐

KsanaDiT 开源

让视频生成模型推理更快，部署更省心

KsanaDiT: High-Performance DiT (Diffusion Transformer) Inference Framework for Video···

★ 64 2026-08-09
seekdb 开源

一个数据库搞定智能体所有数据，检索快还省心

The AI-Native Search Database. Best for agent storage, it unifies vector, text, stru···

★ 3234 2026-08-09
clearml-agent 开源

一键排队运行ML任务，自动调度GPU，省心省力

ClearML Agent - MLOps/LLMOps made easy. MLOps/LLMOps scheduler & orchestration solut···

★ 316 2026-08-09
local-llms-on-android 开源

把大模型装进口袋，离线也能智能对话

Run local LLMs like Gemma, Qwen, and LLaMA on Android for offline, private, real-tim···

★ 485 2026-08-09
LongLive 开源

让视频生成突破时长限制，轻松产出长视频。

Long Video Gen / World Model / World Action Model (Embodied) Infrastructure

★ 2878 2026-08-09
vllm-omni 开源

一套框架通吃文本图像视频，换模型不用再重搭环境。

A framework for efficient model inference with omni-modality models

★ 7644 2026-08-09
inference 开源

一行代码部署视觉模型，让任何设备秒变 CV 指挥中心

Turn any computer or edge device into a command center for your computer vision proj···

★ 2487 2026-08-10
tensorlake 开源

一键部署智能体后台任务，沙箱安全执行代码

Tensorlake is a serverless runtime for sandboxes and deploying background agentic ap···

★ 1044 2026-08-09
dify-helm 开源

一条 helm install 把 Dify 全套 LLM 应用栈部署到 K8s

Deploy langgenious/dify, an LLM based app on kubernetes with helm chart.

★ 679 2026-09-16