
guidance-for-multi-provider-generative-ai-gateway-on-aws
一套 OpenAI 风格接口,统一调用 AWS 上多家大模型
这是一个面向 AWS 的多模型生成式 AI 网关参考方案,用 HCL(Terraform/CDK)部署一套统一 API 层,把 Amazon Bedrock、SageMaker 等不同来源的大模型收敛到兼容 OpenAI API 规范的接口后面。它解决的核心问题是:企业接入多个 LLM 供应商时,SDK、鉴权、限流、日志、计费口径各不相同,业务代码被供应商绑定,切换模型要改代码。项目提供 API 网关 + Lambda 的转发层,统一请求/响应格式,集中做密钥管理、用量统计、访问控制与可观测性,让上层应用只写一次 OpenAI 风格调用即可切换后端模型。作为 AWS 官方 Guidance,它更偏架构最佳实践与可落地模板,而非开箱即用的 SaaS 产品,适合作为企业自建 AI 网关的起点。
项目数据
使用教程
核心亮点
- 统一为 OpenAI API 规范,现有 OpenAI SDK 代码几乎零改动即可切换到 Bedrock/SageMaker 后端
- 基于 AWS 原生服务(API Gateway、Lambda、IAM)部署,密钥与访问控制走 IAM,无需自建鉴权体系
- 作为官方 Guidance 提供完整 IaC 模板与架构说明,可直接作为企业 AI 网关的落地起点
不足之处
- 仅覆盖 AWS 生态内的模型,跨云或本地模型接入需要自行扩展
- 以参考架构形式交付,缺少开箱即用的运维面板与多租户配额管理
适用场景
- 企业内多个团队需要统一入口调用不同 LLM,避免各自申请密钥、各自对接 SDK
- 已有基于 OpenAI SDK 的应用,希望低成本切换到 Bedrock 上的模型以控制成本或满足合规
- 需要对模型调用做集中审计、限流和用量统计的 AWS 环境
替代项目
LiteLLM、Portkey AI Gateway、Kong AI Gateway
项目介绍
上一篇:TensorRT-LLM
下一篇:rainbond
同类项目推荐
freebuff-proxy
开源
聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。
OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle,···
microduck
开源
用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型,免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···