optimum-intel

让 Hugging Face 模型在 Intel 芯片上跑得更快，几行代码实现加速。

Optimum Intel 是 Hugging Face 与 Intel 合作推出的优化工具库，旨在通过 Intel 的 OpenVINO 等工具加速 Transformers、Diffusers 等模型的推理。它解决了 Intel 硬件上运行 AI 模型性能不佳的问题，提供模型转换、量化、图优化等能力，支持 LLM、ASR、TTS、VLM 等多种模型类型。核心能力包括将 PyTorch/TensorFlow 模型导出为 OpenVINO IR 格式，应用动态量化、静态量化、权重压缩等优化，并集成到 Hugging Face 的 pipeline 中，实现无缝加速。项目还提供 Optimum Intel 的生成式 AI 接口（OpenVINO GenAI），简化生成模型的部署。整体上，它是连接 Hugging Face 生态与 Intel 硬件的桥梁，让开发者能轻松获得接近原生的推理性能。