OpenArc

让英特尔设备也能一键跑起 OpenAI 兼容的大模型服务

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 49 🐛 待处理 27 👀 关注 18

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 548

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源免费，需自行部署

项目预览

项目数据

分类基础设施

开发团队SearchSavior

官网地址https://searchsavior.github.io/OpenArc

GitHubhttps://github.com/SearchSavior/OpenArc

定价模式🏷️完全免费

价格说明开源免费，需自行部署

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agentic-ai,fastapi,inference-engine,openvino-genai,openvino-toolkit,optimum-intel,transformers

GitHub 星标★ 548

上线时间2025-02-11 00:00:00

代码更新2026-10-13

仓库体积250.3 MB

本站数据更新2026-11-06

维护状态较活跃

收录时间2026-09-23

浏览次数1

项目介绍

OpenArc 是一个面向英特尔硬件（CPU、核显、Arc 独显）的推理引擎，基于 OpenVINO 工具链构建，目标是在没有 NVIDIA GPU 的机器上也能高效跑起大模型服务。它把 LLM、视觉语言模型（VLM）、Whisper 语音识别、Kokoro 文本转语音、Embedding 和 Rerank 模型统一封装成 OpenAI 兼容的 HTTP 接口，客户端只要把 base_url 指过来就能用，无需改代码。核心能力包括：多模型类型统一服务、OpenAI 端点兼容、基于 OpenVINO GenAI 与 Optimum-Intel 的硬件加速、FastAPI 提供异步高性能接口，以及面向 agentic AI 场景的嵌入与重排支持。对于想在本地或边缘设备部署 RAG、语音助手、多模态应用的团队，OpenArc 提供了一条绕开 CUDA 生态、直接利用英特尔算力的落地路径。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-23 · 当前星标 ★ 548

技术标签

agentic-ai fastapi inference-engine transformers

使用教程

难度：进阶约 45 分钟部署方式：本地安装 5 步

环境要求

Intel CPU 或 GPU
Python 3.10+

安装与启动步骤

1装 OpenVINO 运行时

先按官方源装 nightly 版推理引擎，版本对不上后面全崩。
```
uv pip install --pre -U openvino-genai
```
2拉模型

它支持 LLM、VLM、语音、TTS、向量与重排，先挑一个跑通。
3起兼容服务

起来后是 OpenAI 兼容端点，现有客户端不用改代码。
4接客户端验证

用任意 OpenAI SDK 指向本机端口试一句。
5看设备占用

重点看它能吃掉多少内存，本地部署的瓶颈通常在这。