openmodelz

给 LLM 推理装上自动挡，流量波动也不怕，按需伸缩省成本。

openmodelz 是一个面向 LLM 推理场景的自动伸缩基础设施，基于 Kubernetes 构建，支持 vLLM、SGLang、LMDeploy 等主流推理引擎。它解决了 LLM 推理服务在流量波动下资源利用率低、扩缩容不及时的问题，通过智能的自动伸缩策略，根据请求负载动态调整推理副本数，在保证服务稳定性的同时显著降低算力成本。核心能力包括：与 Kubernetes 原生集成，支持多种推理引擎的统一部署和管理，提供基于指标的自动伸缩、优雅的扩缩容机制以及服务发现和负载均衡。项目采用 Go 语言开发，当前处于早期阶段，星标数 282，适合对 LLM 推理成本敏感且已有 Kubernetes 基础设施的团队探索使用。