llm-d-router

让 K8s 推理入口按负载智能分发请求，降低排队与延迟

llm-d-router 是 llm-d 项目中的智能推理入口组件，用 Go 编写，基于 Kubernetes Gateway API 构建。它解决的是大模型推理服务在生产环境中的流量调度难题：当多个模型副本、多种推理后端（如 vLLM、TGI）同时运行时，普通网关无法感知 KV 缓存、队列深度和模型负载，容易造成请求排队、GPU 利用率不均和首 token 延迟升高。llm-d-router 在网关层引入推理感知的路由能力，结合 Gateway API 的标准化扩展点，把请求分发到最合适的推理实例上，并支持按模型、LoRA 适配器、会话亲和等维度做流量切分。它面向在 Kubernetes 上自建推理集群的团队，目标是让推理入口具备可观测、可扩展、可编排的能力，而不是简单轮询转发。