项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 448
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Kubernetes 集群
- 已部署的模型服务
- kubectl
安装与启动步骤
-
1先有推理集群
它是推理流量入口，需要有后端模型服务才有意义。
-
2按官方清单部署
它基于 Kubernetes 的网关体系，走 CRD 与网关资源。
kubectl apply -k <仓库的部署目录> -
3配路由策略
前缀缓存感知与请求优先级是它的两个核心策略。
-
4压测看命中率
用重复前缀的请求验证缓存复用是否生效。
如何确认成功
相同前缀的并发请求明显快于随机前缀，且高优先级请求在拥塞时被优先调度
注意事项
- 它解决的是推理集群的流量调度，不是模型本身。
- 前缀缓存感知要求后端支持 KV 复用，后端不支持时收益为零。
- 优先级策略要配限额，否则高优请求会饿死低优。
- 网关体系版本兼容性敏感，升级前先在测试集群验证。
核心亮点
- 基于 Kubernetes Gateway API 标准扩展，不绑定私有网关实现，便于融入现有集群
- 路由决策考虑推理特性（如 KV 缓存、队列深度），而非简单轮询，有助于降低首 token 延迟
- Go 编写，天然适合云原生部署，与 llm-d 生态的推理编排组件协同工作
不足之处
- 项目处于早期阶段，星标数较少，生产环境验证案例有限
- 依赖 Gateway API 及推理后端的特定能力，配置和运维门槛较高
适用场景
- 在 Kubernetes 上部署多副本 vLLM 推理服务，需要按负载均衡请求
- 为多个模型或 LoRA 适配器提供统一推理入口并按模型分流
- 对延迟敏感的在线推理业务，需要减少请求排队和 GPU 空转
替代项目
KServe、vLLM production stack
上一篇：LLMServingSim
下一篇：flashinfer
同类项目推荐
pyseekdb
开源
用 Python 轻松连接 OceanBase，高效实现向量检索
A unified python SDK supports OceanBase or OceanBase seekdb, more efficient and easy···
d-inference
开源
把闲置 Mac 组成私有推理集群
Private Inference Network on Idle Macs
foundry-local
开源
把云端 AI 搬到本地，离线也能跑大模型和语音识别
steward
开源
给AI代理装上安全钱包，密钥策略一把抓
Agent wallet infrastructure — encrypted keys, policy enforcement, credential proxy,···
llm-graph-builder
开源
上传文档，一键用LLM自动生成知识图谱
Neo4j graph construction from unstructured data using LLMs
generative-ai-on-amazon-sagemake···
开源
照着 Notebook 在 SageMaker 上跑通大模型微调与部署
Amazon SageMaker AI collection of examples, code samples and recipes.
vulcan-sql
开源
把数据仓库变成AI能直接调用的API，让Agent轻松取数。
Data API Framework for AI Agents and Data Apps
fastapi-admin
开源
一个系统接入所有主流大模型，统一管理密钥与调用。
企业级 LLM API 快速集成系统，支持OpenAI、Azure、文心一言、讯飞星火、通义千问、智谱GL···
mcp-context-forge
开源
统一网关聚合 MCP/A2A/REST，让 Agent 调用更安全可控。
An AI Gateway, registry, and proxy that sits in front of any MCP, A2A, or REST/gRPC ···