ipex-llm

让 Intel 电脑也能流畅跑大模型,推理微调一步到位

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 1433 🐛 待处理 1485 👀 关注 8 ⚠️ 作者已归档(停止维护)
GitHub ↗
GitHub 星标 ★ 8840
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,完全免费,可自行部署使用。

项目预览

ipex-llm 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队intel
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型gpu,llm,pytorch,transformers
GitHub 星标★ 8840
上线时间2016-08-29 00:00:00
代码更新2026-01-28
仓库体积232.2 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数9

项目介绍

ipex-llm 是英特尔推出的开源工具库,旨在加速本地大语言模型(LLM)的推理和微调。它支持在 Intel XPU(包括集成显卡、独立显卡如 Arc/Flex/Max 以及 NPU)上高效运行主流模型(如 LLaMA、Mistral、Qwen、DeepSeek 等),并兼容多种生态工具(如 llama.cpp、Ollama、HuggingFace、LangChain 等)。项目通过量化、低精度优化等技术,显著降低显存占用和计算延迟,使普通 PC 也能流畅运行大模型。核心能力包括:模型压缩与加速、跨框架无缝集成、以及针对 Intel 硬件的深度优化。它解决了本地部署大模型时硬件门槛高、推理速度慢的问题,让开发者无需昂贵 GPU 即可体验和部署 AI 应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 8840

技术标签

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 30 分钟 部署方式:本地安装 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 一台搭载 Intel 硬件的机器:集成显卡、独立显卡(Arc/Flex/Max)、NPU 或 Intel CPU
  • Python 环境(项目为 Python 库,技术栈涉及 PyTorch、transformers)
  • 已具备 PyTorch 运行环境(项目定位为 PyTorch 的 LLM 加速库)
  • 可访问 GitHub 与对应的官方安装文档页面

安装与启动步骤

  1. 1确认硬件平台

    先确认本机属于 Intel GPU(iGPU 或 Arc/Flex/Max)、NPU 还是 CPU,再决定用哪份安装文档。

  2. 2选择安装方式

    README 提供 Install(本地安装)与 Docker 两条路线,Docker 下又分 C++、Python、vLLM、FastChat 等场景,按需选一份。

  3. 3获取项目代码

    克隆仓库后可使用其中示例,示例脚本位于 python/llm/example 目录下。

    git clone https://github.com/intel/ipex-llm.git
  4. 4按平台完成安装

    README 未给出具体安装命令,需打开对应平台的安装文档:Windows GPU、Linux GPU,或参考完整安装指南。

  5. 5运行示例验证

    安装完成后按 README 指引运行示例,如 HuggingFace transformers、LangChain、LlamaIndex 等 GPU 示例。

如何确认成功

按所选安装文档运行示例脚本(如 python/llm/example/GPU/HuggingFace 下的示例),能正常加载模型并输出推理结果即成功。

常见问题

Q:没有 Intel 显卡可以用吗?

A:项目也支持 Intel CPU,README 提供了 vLLM on CPU 等 Docker 指南;但加速优化主要面向 Intel XPU(GPU/NPU),CPU 场景性能有限。

Q:可以对接哪些框架和工具?

A:README 提到可无缝集成 llama.cpp、Ollama、vLLM、HuggingFace transformers、LangChain、LlamaIndex、Text-Generation-WebUI、FastChat、DeepSpeed-AutoTP、PEFT、TRL、AutoGen 等。

Q:为什么 README 里找不到具体安装命令?

A:README 只给出 Quickstart 链接入口,安装命令分散在 docs/mddocs 下的 Windows GPU、Linux GPU 及 Docker 等分平台文档中,需逐份查看。

Q:这个项目现在还能长期使用吗?

A:README 顶部已声明项目归档,Intel 不再提供维护、缺陷修复、新版本或更新,也不再接受补丁,且项目被标记存在已知安全问题,生产使用需谨慎。

注意事项

  • 项目已归档(ARCHIVED),Intel 不再维护、修复或发版,且已知存在安全问题,不建议用于生产环境。
  • README 未提供可直接复制的安装/启动命令,所有安装步骤必须依据对应的分平台文档执行。
  • 硬件加速效果依赖 Intel GPU(iGPU 或 Arc/Flex/Max)、NPU 或 Intel CPU,非 Intel 硬件不在支持范围内。

核心亮点

  • 针对 Intel 全系硬件深度优化,iGPU/NPU/独显都能发挥性能
  • 无缝兼容 Ollama、HuggingFace 等主流生态,迁移成本低
  • 支持模型范围广,涵盖文本和视觉多模态模型

不足之处

  • 主要面向 Intel 平台,对 NVIDIA/AMD 用户不友好
  • 文档/社区待观察

适用场景

  • 在无独立显卡的 Intel 笔记本上本地运行聊天机器人
  • 企业利用现有 Intel 服务器低成本部署私有 LLM 服务
  • 开发者快速微调开源模型并集成到应用中

替代项目

llama.cpp、Ollama、vLLM

上一篇:inference

下一篇:GenieX

同类项目推荐

TurboLLM 开源

一条命令把 Claude Code 接到自己显卡上跑

Run any local LLM engine, auto-tuned to your GPU — polished web UI + OpenAI/Anthrop···

★ 291 2026-09-16
Strata 开源

一键把大模型装进自己电脑,本地 API 即开即用

Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. ···

★ 42817 2026-10-13
otari 开源

自建一个端点,管好所有大模型密钥和预算

Open-source AI gateway you run yourself. One endpoint for 40+ providers, with virtua···

★ 899 2026-08-09
asmjit 开源

运行时直接生成原生机器码,低延迟 JIT 的底层引擎

Low-latency machine code generation

★ 4634 2026-10-31
noronha 开源

用声明式管道搞定 ML 数据流程,快速上线模型

DataOps framework for Machine Learning projects.

★ 61 2026-08-09
qdrant 开源

上亿条数据秒级搜到最像的那条,AI 应用嗖嗖快

Qdrant - High-performance, massive-scale Vector Database and Vector Search Engine fo···

★ 35500 2026-08-09
langfuse-docs 开源

一站式调试和优化你的 LLM 应用,从追踪到评估全搞定

Open source agent evals & observability: Trace, evaluate, and improve LLM applicatio···

★ 251 2026-08-09
boxlite 开源

给 AI 智能体一个微型安全沙箱,轻量到能装进笔记本,弹性到能撑起云。

The micro-VM for AI agents — light enough to embed on your laptop, elastic enough t···

★ 2629 2026-08-09
freebucks-proxy 开源

多账号池化 OpenAI 网关,编码模型调用不再被限流卡住

Archived; no longer maintained.

★ 297 2026-09-21