llmaz

在 K8s 上一键部署多种 LLM 推理服务

llmaz 是一个面向 Kubernetes 的大模型推理平台，目标是把 vLLM、SGLang、TGI、llama.cpp、Ollama 等主流推理引擎统一纳管到 K8s 之上。它解决的核心问题是：在集群里部署和运维 LLM 服务通常需要手写大量 Deployment、Service、HPA 和模型加载逻辑，不同引擎的配置方式又各不相同。llmaz 通过自定义资源（CRD）声明式地描述模型来源、推理后端、副本数与资源规格，由控制器自动完成调度、模型拉取和服务暴露。它支持 HuggingFace、ModelScope 等模型仓库，也兼容多种推理运行时，并提供多模型共存、按需扩缩容等能力，让团队用一套 K8s 原生工作流管理多种 LLM 服务，降低运维复杂度。