guidance-for-multi-provider-generative-ai-gateway-on-aws

一套 OpenAI 风格接口,统一调用 AWS 上多家大模型

这是一个面向 AWS 的多模型生成式 AI 网关参考方案,用 HCL(Terraform/CDK)部署一套统一 API 层,把 Amazon Bedrock、SageMaker 等不同来源的大模型收敛到兼容 OpenAI API 规范的接口后面。它解决的核心问题是:企业接入多个 LLM 供应商时,SDK、鉴权、限流、日志、计费口径各不相同,业务代码被供应商绑定,切换模型要改代码。项目提供 API 网关 + Lambda 的转发层,统一请求/响应格式,集中做密钥管理、用量统计、访问控制与可观测性,让上层应用只写一次 OpenAI 风格调用即可切换后端模型。作为 AWS 官方 Guidance,它更偏架构最佳实践与可落地模板,而非开箱即用的 SaaS 产品,适合作为企业自建 AI 网关的起点。

开源 unknown 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 258
维护状态 较活跃
是否开源
定价模式 unknown

项目数据

分类基础设施
开发团队aws-solutions-library-samples
所属国家
定价模式unknown
价格说明AWS解决方案,定价信息待确认
访问状态
是否开源
开源协议MIT-0
主要语言HCL
技术栈/模型
GitHub 星标★ 258
30天Star增速
HF 下载量
上线时间2024-12-13 00:00:00
最近更新2026-09-16 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-15
浏览次数0

使用教程

核心亮点

  • 统一为 OpenAI API 规范,现有 OpenAI SDK 代码几乎零改动即可切换到 Bedrock/SageMaker 后端
  • 基于 AWS 原生服务(API Gateway、Lambda、IAM)部署,密钥与访问控制走 IAM,无需自建鉴权体系
  • 作为官方 Guidance 提供完整 IaC 模板与架构说明,可直接作为企业 AI 网关的落地起点

不足之处

  • 仅覆盖 AWS 生态内的模型,跨云或本地模型接入需要自行扩展
  • 以参考架构形式交付,缺少开箱即用的运维面板与多租户配额管理

适用场景

  • 企业内多个团队需要统一入口调用不同 LLM,避免各自申请密钥、各自对接 SDK
  • 已有基于 OpenAI SDK 的应用,希望低成本切换到 Bedrock 上的模型以控制成本或满足合规
  • 需要对模型调用做集中审计、限流和用量统计的 AWS 环境

替代项目

LiteLLM、Portkey AI Gateway、Kong AI Gateway

项目介绍

guidance-for-multi-provider-generative-ai-gateway-on-aws 是一个基础设施领域的开源项目,官方简介:This Guidance demonstrates how to streamline access to numerous large language models (LLMs) through a unified, industry-standard API gateway based on OpenAI API standards。项目使用 HCL 开发,在 GitHub 上获得 256 星标。

上一篇:TensorRT-LLM

下一篇:rainbond

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle,···

★ 202 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8576 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 435 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181269 2026-08-09