ai-gateway

环境要求

• 一个可用的 OpenAI API Key（形如 sk-xxxxxxxx）
• 本地已安装 aigw CLI（README 只给出官方 CLI 指南链接，未给出具体安装命令）
• 本地 1975 端口可用（aigw run 默认监听该端口）
• 如在 Kubernetes 上部署，需额外安装 Envoy Gateway（参见 Getting Started 指南）

安装与启动步骤

1. 1安装 aigw 命令行

   README 未给出安装命令，请按官方 CLI 指南完成安装，并确认终端中可直接执行 aigw。

2. 2准备 OpenAI 密钥

   把 OpenAI 的 API Key 导出为环境变量，后续启动命令会读取它，勿把真实密钥提交到仓库。

   export OPENAI_API_KEY=sk-your-key

   复制

3. 3一条命令启动网关

   README 的 Quick start 命令：以独立、OpenAI 兼容路由的形式在笔记本上运行，默认监听 1975 端口。

   OPENAI_API_KEY=sk-your-key aigw run

   复制

4. 4接入 OpenAI 兼容客户端

   把任意 OpenAI 兼容客户端的 base URL 指向 http://localhost:1975/v1，即可通过统一端点访问后端模型。

5. 5部署到 Kubernetes

   需要生产级部署时，按官方 Getting Started 指南在 Kubernetes 上配合 Envoy Gateway 部署。

关键配置

如何确认成功

客户端指向 http://localhost:1975/v1 能正常返回模型响应，且本地 1975 端口处于监听状态。

常见问题

注意事项

• README 未给出 aigw 的安装命令，安装步骤必须以官方 CLI 指南为准，不要臆造包名或参数。
• 默认本地服务地址与端口为 http://localhost:1975/v1，如与其他服务冲突需自行调整。
• 生产环境建议采用两层网关模式：一层负责认证、顶层路由与全局限流，二层负责自托管模型集群的入口流量与推理端点选择。
• 升级或迁移前请查阅官方 Release Notes，确认 CRD 与 API group 的兼容性。