项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 242
技术标签
核心亮点
- 提供 CRD 声明式管理，模型部署、扩缩容和状态查询全部走 kubectl，契合 GitOps 流程
- 基于 controller-runtime 实现，自动处理 Deployment、Service、PVC 等资源编排，减少手工 YAML
- 与 Ollama 生态直接集成，可复用其模型拉取和推理能力，无需自建模型服务框架
不足之处
- 项目处于早期，API 版本和 CRD 字段可能随版本变动，生产使用需锁定版本
- 文档和社区案例较少，遇到问题主要依赖阅读源码和 issue 排查
适用场景
- 在已有 K8s 集群中快速搭建内部 LLM 推理服务，供多个业务团队调用
- 用 GitOps 方式把模型版本、副本数和资源配额纳入代码仓库统一管理
- 为不同模型或不同团队创建隔离的 Ollama 实例，按需扩缩容控制 GPU/CPU 成本
替代项目
KServe、Ray Serve
上一篇：llmaz
下一篇：TensorRT-LLM
同类项目推荐
kieker
开源
运行时采集调用链，离线分析定位性能瓶颈
Kieker is an observability framework, that consists of an monitoring and tracing age···
coze-loop
开源
一站式调试、评估、监控你的 AI Agent，让开发更高效
Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI ···
awesome-argo
开源
一站式逛遍 Argo 生态，找工具、学案例、避坑提效
A curated list of awesome projects and resources related to Argo (a CNCF graduated p···
Uptime Kuma
开源
自托管开源监控工具，界面友好
A fancy self-hosted monitoring tool
awesome-open-mlops
开源
一张清单，搞定开源 MLOps 工具选型
The Fuzzy Labs guide to the universe of open source MLOps
dstoolkit-mlops-base
开源
用 Azure 一键搭建模型上线流水线，省去手工部署烦恼
Support ML teams to accelerate their model deployment to production leveraging Azure
nbox
开源
用命令行搞定 NimbleBox 上的机器学习部署与运维
The official python package for NimbleBox. Exposes all APIs as CLIs and contains mod···
warden
开源
给 AI 代理装一道企业级安全闸门，访问可控可审计
The secure gateway connecting AI agents to enterprise systems.
mcp-context-forge
开源
统一网关聚合 MCP/A2A/REST，让 Agent 调用更安全可控。
An AI Gateway, registry, and proxy that sits in front of any MCP, A2A, or REST/gRPC ···