项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-25 · 当前星标 ★ 796
核心亮点
- 基于 Gateway API 标准扩展，复用 K8s 网络生态，不引入私有代理层
- 引入推理感知的路由能力，可按后端负载与状态分配流量，优于简单轮询
- 由 SIG Network 社区推动，与网关实现解耦，具备跨厂商适配潜力
不足之处
- 项目处于早期，API 与行为可能变动，生产可用性待验证
- 依赖具体 Gateway API 实现的支持程度，生态适配尚不完整
- 文档与示例相对有限，上手需要一定 K8s 网络基础
适用场景
- 在 K8s 上为多个大模型推理服务统一配置入口路由
- 为推理后端池实现负载感知的流量分配
- 构建企业 AI 推理平台时复用现有网关与网络策略体系
替代项目
KServe、KubeRay、vLLM
上一篇：dynamo
下一篇：d-inference
同类项目推荐
xllm
开源
一套引擎，跑遍各类模型和加速器，推理更快更省心。
A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for ···
onramp
开源
一键搭建安全家庭实验室，快速上手 Traefik 和 Cloudflare
Traefik with all the stuffing. Onramp is a docker compose setup designed to allow us···
Safe-and-Stable-Ckpt2Safetensors···
开源
一键安全转换 ckpt 为 safetensors，告别恶意代码风险
Convert your Stable Diffusion checkpoints quickly and easily.
lilypad
开源
用区块链调度全球闲置 GPU，跑 AI 任务更便宜透明
Run AI workloads easily in a decentralized GPU network. https://www.youtube.com/wat···
unbody
开源
像用 Supabase 一样，快速搭建 AI 应用的知识后端。
The Supabase of AI era. A modular, open-source backend for building AI-native softwa···
BentoDiffusion
开源
用 BentoML 一键部署扩散模型，快速上线图像生成服务
BentoDiffusion: A collection of diffusion models served with BentoML
vonage-node-sdk
开源
一行代码接入短信、语音和验证码，快速上线通信功能
Vonage API client for Node.js. API support for SMS, Voice, Text-to-Speech, Numbers, ···
babylog
开源
生产环境轻量记录图像和预测，快速排查模型问题
A lightweight logger for machine learning teams to log images and predictions in pro···
sacremoses
开源
Moses 文本预处理工具一键迁移到 Python，让分词大小写规范化不再愁
Python port of Moses tokenizer, truecaser and normalizer