在 Kubernetes 上轻松部署和运维大模型服务
kube-llmops 是一个基于 Kubernetes 的 LLM 运维工具，旨在解决大语言模型应用在 Kubernetes 集群中的部署、管理和运维难题。它提供了一套声明式的 API 和控制器，让用户能够像管理普通应用一样管理 LLM 工作负载，包括模型服务的自动伸缩、资源调度、版本更新和监控。项目核心能力包括：通过 CRD 定义 LLM 服务，支持多种推理框架（如 vLLM、TGI），自动处理 GPU 资源分配和节点亲和性，并提供与 Prometheus 集成的指标监控。它简化了从模型部署到线上服务的全生命周期管理，降低了 LLM 应用上云的门槛。
KServe、Seldon Core、vLLM 官方 Helm Chart
kube-llmops 是基础设施领域的开源项目，由 GaeaRuiW 开发，是 2026 年新上线的项目。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 102。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-02。Apache-2.0 许可证，可自由使用和部署，无付费版本。
它主要面向的使用场景是：在Kubernetes集群中标准化部署多种LLM模型服务。同类可对比的替代方案包括 KServe、Seldon Core、vLLM 官方 Helm Chart。
上一篇：sndr_core_engine
下一篇：OpenKL
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
