一个网关管所有AI大模型，统一接入、限流、控成本
ai-gateway 是一个基于 Envoy Gateway 构建的统一访问管理网关，专门用于管理和路由对各类生成式 AI 服务的请求。它解决了企业在使用多个 AI 提供商（如 OpenAI、Anthropic、Google 等）时面临的 API 管理混乱、成本不可控、安全策略不统一等问题。核心能力包括：统一的 API 端点，屏蔽不同提供商的协议差异；细粒度的访问控制、速率限制和配额管理；请求级和令牌级的成本追踪与审计；支持多模型路由、故障转移和 A/B 测试；以及通过 Envoy 的高性能代理能力，实现低延迟和高吞吐。项目采用 Go 语言开发，与 Envoy Gateway 深度集成，适合需要大规模、生产级 AI 流量管理的平台团队。
1安装 aigw 命令行
README 未给出安装命令，请按官方 CLI 指南完成安装，并确认终端中可直接执行 aigw。
2准备 OpenAI 密钥
把 OpenAI 的 API Key 导出为环境变量，后续启动命令会读取它，勿把真实密钥提交到仓库。
export OPENAI_API_KEY=sk-your-key3一条命令启动网关
README 的 Quick start 命令：以独立、OpenAI 兼容路由的形式在笔记本上运行，默认监听 1975 端口。
OPENAI_API_KEY=sk-your-key aigw run4接入 OpenAI 兼容客户端
把任意 OpenAI 兼容客户端的 base URL 指向 http://localhost:1975/v1，即可通过统一端点访问后端模型。
5部署到 Kubernetes
需要生产级部署时，按官方 Getting Started 指南在 Kubernetes 上配合 Envoy Gateway 部署。
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
OPENAI_API_KEY | 是 | 启动时注入的 OpenAI 密钥，用于网关访问上游模型服务 | sk-your-key |
客户端指向 http://localhost:1975/v1 能正常返回模型响应，且本地 1975 端口处于监听状态。
Q：aigw 命令行工具怎么安装？
A：README 的 Quick start 只给出运行命令，安装方式请查看官方 CLI 指南（https://theagentrouter.ai/docs/cli/），其中还包含各家提供商的自动配置。
Q：支持哪些模型提供商？
A：它提供统一的 OpenAI 兼容 API，可对接托管提供商、自托管推理服务以及 MCP 服务器，屏蔽各提供商协议差异。
Q：原来的 Envoy AI Gateway 资源需要改名吗？
A：不需要。项目已更名为 Agent Router，但代码、维护者、发布节奏和 Apache 2.0 许可不变，CRD 与 API group aigateway.envoyproxy.io 均未改动。
Kong AI Gateway、LiteLLM、Portkey AI Gateway
ai-gateway 是基础设施领域的开源项目，由 theagentrouter 开发，2024 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（2,131）位列前 30%，在基础设施分类中处于中上游。
近 42 天，它的 GitHub 星标从 1,922 增加到 2,131，净增 209。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。基于Envoy Gateway，可自行部署，完全免费。
它主要面向的使用场景是：企业内部多个AI模型统一接入与治理。同类可对比的替代方案包括 Kong AI Gateway、LiteLLM、Portkey AI Gateway。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···