openvino.genai

几行代码在 Intel 硬件上跑通大模型推理

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 602
维护状态 活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类基础设施
开发团队openvinotoolkit
所属国家
官网地址https://openvinotoolkit.github.io/openvino.genai
GitHubhttps://github.com/openvinotoolkit/openvino.genai
定价模式free
价格说明开源免费（Apache 2.0），无付费版本
访问状态
是否开源是
开源协议Apache-2.0
主要语言C++
技术栈/模型
GitHub 星标★ 602
30天Star增速
HF 下载量
上线时间2023-10-16 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-19
浏览次数0

项目介绍

openvino.genai 是 Intel 基于 OpenVINO Runtime 构建的生成式 AI 推理工具库，提供简洁的 C++ 和 Python API，让开发者在 Intel CPU、集成 GPU、独立 GPU 及 NPU 上运行大语言模型、视觉语言模型和图像生成模型。它解决的是生成式模型部署门槛高、依赖复杂的问题：内置模型下载与转换流程，支持从 Hugging Face 拉取模型并自动转换为 OpenVINO IR 格式，同时封装了文本生成、流式输出、多模态输入、连续批处理等推理能力。核心能力包括统一的 LLM/VLM 推理管线、KV Cache 与分页注意力优化、投机解码、LoRA 适配、OpenAI 兼容服务示例，以及面向边缘设备的低延迟部署。适合需要在 Intel 硬件上做本地化、离线化生成式 AI 推理的工程团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 官方封装模型下载、转换、推理全流程，省去手动导出 OpenVINO IR 的繁琐步骤
  • 同时提供 C++ 与 Python API，并带 OpenAI 兼容服务示例，便于从原型过渡到生产
  • 针对 Intel CPU/GPU/NPU 做了 KV Cache、分页注意力、投机解码等推理优化

不足之处

  • 强绑定 Intel 硬件与 OpenVINO 生态，非 Intel 平台无法发挥优势
  • 项目星标较少、生态和第三方文档相对薄弱，社区案例待积累

适用场景

  • 在 Intel 笔记本或边缘设备上本地离线运行大语言模型
  • 为 Intel 平台上的 AI 应用提供低延迟的 C++ 推理后端
  • 搭建兼容 OpenAI 接口的私有化模型服务

替代项目

llama.cpp、ONNX Runtime GenAI

上一篇：onnxruntime-genai

下一篇：GenAIComps

同类项目推荐

freebuff-proxy 开源

聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。

DEPRECATED — moved to https://github.com/trefeon/freelane. Archived; no longer main···

★ 300 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。

A Tiny biped duck robot

★ 9533 2026-09-10
ollama 开源

一条命令本地跑起大模型，免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 183689 2026-08-09
soperator 开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 449 2026-08-10