OpenArc

让英特尔设备也能一键跑起 OpenAI 兼容的大模型服务

OpenArc 是一个面向英特尔硬件（CPU、核显、Arc 独显）的推理引擎，基于 OpenVINO 工具链构建，目标是在没有 NVIDIA GPU 的机器上也能高效跑起大模型服务。它把 LLM、视觉语言模型（VLM）、Whisper 语音识别、Kokoro 文本转语音、Embedding 和 Rerank 模型统一封装成 OpenAI 兼容的 HTTP 接口，客户端只要把 base_url 指过来就能用，无需改代码。核心能力包括：多模型类型统一服务、OpenAI 端点兼容、基于 OpenVINO GenAI 与 Optimum-Intel 的硬件加速、FastAPI 提供异步高性能接口，以及面向 agentic AI 场景的嵌入与重排支持。对于想在本地或边缘设备部署 RAG、语音助手、多模态应用的团队，OpenArc 提供了一条绕开 CUDA 生态、直接利用英特尔算力的落地路径。