gateway

搭建AI应用后端,统一管理模型调用与流量

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 16 🐛 待处理 10 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 162
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可自由使用和部署,无付费版本。

项目预览

gateway 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队pyadav
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型ai,aistudio,api,gateway,generative-ai,grpc,inference,large-language-models,llmops,llms,protobuf,workforce
GitHub 星标★ 162
上线时间2024-01-18 00:00:00
代码更新2024-04-08
仓库体积4.2 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

这是一个已弃用的AI网关项目,旨在为构建生产级AI应用提供核心基础设施。它作为统一入口,处理对各类AI模型的请求路由、负载均衡、API密钥管理与访问控制等,解决企业在接入多个AI服务时面临的端点分散、认证复杂和流量管理难题。核心能力包括请求转发、模型适配、限流熔断与可观测性,帮助开发者快速搭建稳定、安全的AI服务层。项目基于Go语言实现,具备高性能与低延迟特性。尽管当前标记为弃用,但其设计思路对理解AI网关架构仍有参考价值。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 162

核心亮点

  • 统一管理多个AI模型API,简化集成流程
  • 内置请求路由与负载均衡,提升服务稳定性
  • 基于Go实现,性能与并发处理能力出色

不足之处

  • 项目已弃用,不再维护,存在功能缺失风险
  • 文档与社区资源有限,上手成本较高

适用场景

  • 企业内部统一AI模型接入层
  • 需要多模型切换与A/B测试的AI应用
  • 对API调用进行集中监控与限流的场景

替代项目

Kong AI Gateway、LiteLLM、Portkey Gateway

上一篇:GPTRouter

下一篇:ray_vllm_inference

同类项目推荐

genai-factory 开源

用 Terraform 在 GCP 一键搭好安全的生成式 AI 底座

A collection of end-to-end infrastructure blueprints to deploy generative AI infrast···

★ 183 2026-09-28
ccLoad 开源

自动切换 AI 渠道,告别手动运维,提升调用稳定性

Self-hosted AI API gateway for Claude Code, Codex and Gemini: pool API keys and subs···

★ 437 2026-08-09
vox-serve 开源

让 TTS/STS 模型秒变低延迟流式在线服务

A Streaming-Native Serving Engine for TTS/STS Models

★ 80 2026-08-09
mloda 开源

插件化数据访问,让 AI 应用轻松获取可追溯的数据上下文。

mloda.ai - Open Data Access for AI and ML. Plugin-based. Traceable. Framework-agnost···

★ 100 2026-08-09
aio2024-mlops 开源

跟着Notebook动手玩转MLOps全流程工具链

This project serves as a hands-on introduction to essential MLOps tools

★ 61 2026-08-09
openai 开源

兼容 OpenAI 调用方式,请求时自动完成链上按次付费

Drop-in OpenAI Typescript client with transparent x402 payment support.

★ 154 2026-10-26
pangolin 开源

自托管零信任网关,安全访问内网应用和 AI 服务

Modern networking and security platform providing secure access and connectivity to ···

★ 23536 2026-10-17
obelisk 开源

让AI代理记住每次会话,历史经验随时可查

Every past session, subagent, and workflow -- queryable by your agent, browsable by ···

★ 910 2026-08-09