LLMKube

用 kubectl 在混搭 GPU 集群上跑大模型推理

LLMKube 是一个 Kubernetes Operator，用于在异构 GPU 集群上自托管大模型推理。它解决的核心问题是：家里或公司机房里混着 NVIDIA、AMD、Apple Silicon 等不同硬件，想统一跑 LLM 却缺乏编排层。该项目把 llama.cpp、vLLM、TGI、mlx-server 等推理运行时封装成 K8s 自定义资源，支持多 GPU 分片、模型缓存和 OpenAI 兼容接口，让用户用 kubectl 就能声明式部署和管理推理服务。它面向 homelab 和本地机房场景，Apache-2.0 开源，Go 编写，目前处于早期阶段。

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 210

维护状态活跃

是否开源是

定价模式 free

项目数据

分类基础设施

开发团队defilantech

所属国家

官网地址https://llmkube.com

GitHubhttps://github.com/defilantech/LLMKube

定价模式free

价格说明Apache-2.0开源免费，自托管部署

访问状态

是否开源是

开源协议Apache-2.0

主要语言Go

技术栈/模型ai,apple-silicon,autoscaling,edge-computing,gguf,gpu,homelab,inference,kubernetes,kubernetes-operator,llama-cpp,llm,local-llm,metal,mlx,multi-gpu,nvidia,self-hosted,tgi,vllm

GitHub 星标★ 210

30天Star增速

HF 下载量

上线时间2025-11-12 00:00:00

最近更新2026-09-18 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-16

浏览次数0

使用教程

核心亮点

统一封装 llama.cpp、vLLM、TGI、mlx-server 四种运行时，异构硬件一套 API 管理
支持 NVIDIA CUDA、AMD Vulkan、Apple Silicon Metal，覆盖 homelab 常见设备
提供 OpenAI 兼容端点，现有客户端无需改造即可接入

不足之处

项目仅 209 星，处于早期，生产环境稳定性与长期维护待验证
异构 GPU 调度和运行时适配的文档与社区案例较少，排错成本可能较高

适用场景

homelab 玩家在混有 N 卡、A 卡和 Mac mini 的集群上统一部署 LLM
中小企业本地机房用 K8s 管理多台 GPU 服务器提供内部推理 API
边缘计算场景下按需拉起和缩容模型服务，复用已有 Kubernetes 运维体系

替代项目

KServe、Ray Serve、vLLM Production Stack

项目介绍

LLMKube 是一个基础设施领域的开源项目，官方简介：Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.。项目使用 Go 开发，在 GitHub 上获得 209 星标。

上一篇：llm-ollama

下一篇：hpc-ops