NoLlama

让 Intel NPU 跑起 Ollama 风格本地大模型 API

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 19 🐛 待处理 6 👀 关注 4
GitHub ↗
GitHub 星标 ★ 132
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

NoLlama 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队aweussom
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
GitHub 星标★ 132
上线时间2026-04-12 00:00:00
代码更新2026-10-27
仓库体积7.4 MB
本站数据更新2026-10-29
维护状态活跃
收录时间2026-10-29
浏览次数0

项目介绍

NoLlama 是一个面向 Intel OpenVINO 兼容硬件的推理服务,提供与 Ollama 和 OpenAI 兼容的 API 接口,让本地设备上的 NPU、GPU 或 CPU 能够运行大语言模型。项目解决的核心问题是:Ollama 原生主要面向通用 GPU 与 CPU 后端,而搭载 Intel NPU 的设备缺少统一、易用的本地模型服务入口。NoLlama 通过 OpenVINO 运行时把模型推理落到 Intel 硬件上,并对外暴露熟悉的 Ollama/OpenAI 风格接口,使已有客户端、SDK 和脚本无需大改即可切换到本地推理。核心能力包括:兼容 Ollama 与 OpenAI 两种 API 形态、基于 OpenVINO 调用 Intel 加速硬件、以 Python 实现便于二次开发与集成、支持本地化部署以保护数据不出设备。适合希望在 Intel 笔记本或边缘设备上做本地模型实验、原型验证和轻量推理服务的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-29 · 当前星标 ★ 132

核心亮点

  • 同时兼容 Ollama 与 OpenAI 两套 API,现有客户端和 SDK 迁移成本低
  • 基于 OpenVINO 调用 Intel NPU/GPU/CPU,填补 Ollama 在 Intel 加速硬件上的空白
  • Python 实现,代码结构清晰,便于二次开发和嵌入自有服务

不足之处

  • 项目仍处早期,星标与社区规模小,长期维护和问题响应待观察
  • 依赖 Intel OpenVINO 生态与特定硬件,非 Intel 设备无法发挥优势
  • 模型格式转换与量化流程依赖 OpenVINO 工具链,上手门槛高于直接使用 Ollama

适用场景

  • 在搭载 Intel NPU 的笔记本上搭建本地大模型对话服务
  • 把已有 OpenAI 接口的应用切换到本地推理后端做离线测试
  • 边缘设备上做轻量模型推理与 API 集成原型

替代项目

Ollama、llama.cpp、OpenVINO Model Server

上一篇:ollama-swift

下一篇:magnitude

同类项目推荐

openclaw-guardian 开源

给 OpenClaw 网关配个自动修复的看门狗,故障秒级自愈

️ Guardian watchdog for OpenClaw Gateway — auto-monitor, self-repair via doctor --···

★ 568 2026-08-09
ram-coffers 开源

用二手 POWER8 服务器,让 LLM 推理提速 8.8 倍,省下云账单。

LLM infrastructure cost reduction via NUMA-aware weight banking: 147 t/s (8.8x stock···

★ 172 2026-08-21
token-limit 开源

盯紧 AI 上下文用量,超限自动提醒,省钱省心

Monitor how many tokens your code and configs consume in AI tools. Set budgets and g···

★ 65 2026-08-09
llm-metadata 开源

统一查询 LLM 元数据,告别硬编码模型信息

A lightweight interface for accessing and integrating LLM metadata, enabling applica···

★ 154 2026-08-09
ephemeral-sandbox 开源

让多个编码AI并行干活,互不干扰,结果可靠发布

Open-source agent sandbox infrastructure for parallel coding agents: isolated worksp···

★ 121 2026-08-09
awesome-hosting 开源

按最低价排序的托管清单,几分钟挑出最省钱的服务器

List of awesome hosting sorted by minimal plan price

★ 949 2026-09-22
NeumAI 开源

一键搭建大规模向量数据管道,让 RAG 应用数据实时同步

Neum AI is a best-in-class framework to manage the creation and synchronization of v···

★ 868 2026-08-09
tokencost 开源

输入模型和 token 数,秒估 400+ 大模型成本

Easy token price estimates for 400+ LLMs. TokenOps.

★ 2005 2026-08-09