gateway

搭建AI应用后端,统一管理模型调用与流量

这是一个已弃用的AI网关项目,旨在为构建生产级AI应用提供核心基础设施。它作为统一入口,处理对各类AI模型的请求路由、负载均衡、API密钥管理与访问控制等,解决企业在接入多个AI服务时面临的端点分散、认证复杂和流量管理难题。核心能力包括请求转发、模型适配、限流熔断与可观测性,帮助开发者快速搭建稳定、安全的AI服务层。项目基于Go语言实现,具备高性能与低延迟特性。尽管当前标记为弃用,但其设计思路对理解AI网关架构仍有参考价值。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 161
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队pyadav
所属国家
定价模式free
价格说明开源项目,Apache-2.0 许可证,可自由使用和部署,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型ai,aistudio,api,gateway,generative-ai,grpc,inference,large-language-models,llmops,llms,protobuf,workforce
GitHub 星标★ 161
30天Star增速
HF 下载量
上线时间2024-01-18 00:00:00
最近更新2026-08-14 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

核心亮点

  • 统一管理多个AI模型API,简化集成流程
  • 内置请求路由与负载均衡,提升服务稳定性
  • 基于Go实现,性能与并发处理能力出色

不足之处

  • 项目已弃用,不再维护,存在功能缺失风险
  • 文档与社区资源有限,上手成本较高

适用场景

  • 企业内部统一AI模型接入层
  • 需要多模型切换与A/B测试的AI应用
  • 对API调用进行集中监控与限流的场景

替代项目

Kong AI Gateway、LiteLLM、Portkey Gateway

项目介绍

gateway 是基础设施领域的开源项目,由 pyadav 开发,2024 年首次发布。

它收录于基础设施分类,该分类目前共有 1,132 个项目,GitHub 星标数为 161。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-08-14。Apache-2.0 许可证,可自由使用和部署,无付费版本。

它主要面向的使用场景是:企业内部统一AI模型接入层。同类可对比的替代方案包括 Kong AI Gateway、LiteLLM、Portkey Gateway。

上一篇:GPTRouter

下一篇:ray_vllm_inference

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09