ollama-operator

用 K8s 声明式 YAML 一键部署和管理 Ollama 大模型服务

ollama-operator 是一个用 Go 编写的 Kubernetes Operator,目标是把 Ollama 大语言模型运行时以声明式方式部署到 K8s 集群中。它通过自定义资源(CRD)描述模型、副本数、资源限制和存储需求,Operator 控制器自动创建对应的 Deployment、Service 和 PVC,并负责拉取模型、健康检查与状态回写。相比手工写 YAML 部署 Ollama,它把模型生命周期纳入 K8s 原生控制循环,支持多模型并行、按需扩缩容和统一运维。项目基于 controller-runtime 构建,天然兼容 kubectl、GitOps 和 Helm 工作流,适合已有 K8s 基础设施、希望把 LLM 推理服务标准化交付的团队。当前星标约 242,属于早期项目,API 与功能仍在演进。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 242
维护状态 活跃
是否开源
定价模式 free

项目数据

分类基础设施
开发团队nekomeowww
所属国家
定价模式free
价格说明开源免费,需自行部署Kubernetes
访问状态
是否开源
开源协议Apache-2.0
主要语言Go
技术栈/模型ai,kubernetes,kubernetes-operators,llama,llamacpp,llm,ollama
GitHub 星标★ 242
30天Star增速
HF 下载量
上线时间2024-04-10 00:00:00
最近更新2026-08-24 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-15
浏览次数0

使用教程

核心亮点

  • 提供 CRD 声明式管理,模型部署、扩缩容和状态查询全部走 kubectl,契合 GitOps 流程
  • 基于 controller-runtime 实现,自动处理 Deployment、Service、PVC 等资源编排,减少手工 YAML
  • 与 Ollama 生态直接集成,可复用其模型拉取和推理能力,无需自建模型服务框架

不足之处

  • 项目处于早期,API 版本和 CRD 字段可能随版本变动,生产使用需锁定版本
  • 文档和社区案例较少,遇到问题主要依赖阅读源码和 issue 排查

适用场景

  • 在已有 K8s 集群中快速搭建内部 LLM 推理服务,供多个业务团队调用
  • 用 GitOps 方式把模型版本、副本数和资源配额纳入代码仓库统一管理
  • 为不同模型或不同团队创建隔离的 Ollama 实例,按需扩缩容控制 GPU/CPU 成本

替代项目

KServe、Ray Serve

项目介绍

ollama-operator 是一个基础设施领域的开源项目,官方简介:Yet another operator for running large language models on Kubernetes with ease. Powered by Ollama!。项目使用 Go 开发,在 GitHub 上获得 242 星标。

上一篇:llmaz

下一篇:TensorRT-LLM

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle,···

★ 202 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8576 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 435 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181269 2026-08-09