gateway

一个 API 接入 1600+ 模型,内置安全护栏,AI 应用开发提速。

gateway 是一个高性能的 AI 网关,旨在统一管理对 1600+ 大语言模型(LLM)的访问,并内置 50+ 种 AI 安全护栏。它通过一个快速且友好的 API,解决了企业在接入多个 AI 提供商时面临的接口碎片化、密钥管理复杂、安全策略难以统一等问题。核心能力包括:智能路由(根据成本、延迟等策略选择最优模型)、统一的 API 格式转换、内置护栏(如 PII 检测、提示注入防护、内容审核等)、以及可观测性支持。该网关基于 TypeScript 开发,性能出色,部署简单,可显著降低 AI 应用开发的集成成本,并提升系统的安全性和可靠性。

开源 unknown 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 13064
维护状态 低维护
是否开源 是
定价模式 unknown

项目数据

分类开源模型
开发团队Portkey-AI
所属国家
定价模式unknown
价格说明开源项目,需自行部署,定价信息待确认
访问状态
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型ai-gateway,gateway,generative-ai,hacktoberfest,langchain,llm,llm-gateway,llmops,llms,mcp,mcp-client,mcp-gateway,mcp-servers,model-router,openai
GitHub 星标★ 13064
30天Star增速
HF 下载量
上线时间2023-08-23 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数7

使用教程

难度:入门 约 2 分钟 部署方式:命令行工具 4 步

环境要求

  • Node.js 运行环境(README 明确说明需要 Node.js)
  • npm 包管理器
  • 可访问外网以拉取 npm 包(npx)
  • 如需用 Python 调用,需已安装 pip

安装与启动步骤

  1. 1确认 Node 环境

    README 说明运行 Gateway 需要 Node.js 和 npm,请先在本机确认两者已安装可用,版本过旧可能导致启动失败。

    node -v
    npm -v
  2. 2启动 AI Gateway

    用 npx 直接拉取并运行官方包,无需先克隆仓库。启动后会在本机拉起网关服务,保持该终端窗口不要关闭。

    npx @portkey-ai/gateway
  3. 3访问网关控制台

    在浏览器打开控制台地址,可查看网关运行状态并进行后续配置;网关 API 的基础地址为 http://localhost:8787/v1。

  4. 4(可选)安装 Python SDK

    如果要通过 Python 代码调用网关,README 给出了官方 SDK 的安装方式,安装后可从 portkey_ai 导入 Portkey 客户端。

    pip install -qU portkey-ai

如何确认成功

终端显示服务已启动,浏览器打开 http://localhost:8787/public/ 能看到 Gateway 控制台页面,即为成功。

常见问题

Q:运行 Gateway 需要预先安装什么?

A:README 明确说明需要 Node.js 和 npm,使用 npx 命令即可直接启动,无需手动克隆或编译项目源码。

Q:网关默认监听在哪个地址和端口?

A:README 写的是 http://localhost:8787/v1(API 地址),控制台在 http://localhost:8787/public/。

Q:除了本地运行还支持哪些部署方式?

A:README 提到 Portkey Cloud、Docker、Node.js 服务器、Cloudflare Workers、Replit 等,并链接到 docs/installation-deployments.md 查看具体步骤。

Q:企业私有化部署怎么做?

A:README 给出企业版私有部署架构文档,支持 AWS、Azure、GCP、OpenShift、Kubernetes 等平台,详见官方文档链接。

注意事项

  • README 提示 Gateway 2.0 处于预发布阶段,想体验新版本可使用 2.0.0 分支。
  • README 建议企业场景优先使用 Portkey Cloud 托管网关。
  • Docker、Cloudflare、Replit、EC2 等部署方式的具体命令需参考 README 中链接的官方文档,本文未展开。

核心亮点

  • 统一 API 接入 1600+ 模型,切换/调用零成本,极大简化集成工作
  • 内置 50+ 安全护栏(如 PII 检测、提示注入防护),开箱即用,增强 AI 应用安全性
  • 智能路由支持按成本、延迟等策略自动选择最优模型,优化资源利用

不足之处

  • 文档/社区待观察
  • 高级功能(如复杂策略、深度可观测性)可能需要付费订阅

适用场景

  • 企业构建统一的 AI 接入层,管理多个 LLM 提供商
  • 需要为 AI 应用添加安全防护(如防止提示注入、敏感信息泄露)
  • 开发多模型 AI 应用,需根据成本/延迟动态切换模型

替代项目

LiteLLM、Kong AI Gateway、Portkey

项目介绍

gateway 是基础设施领域的开源项目,由 Portkey-AI 开发,2023 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(13,064)位列前 4%,在基础设施分类的 1,132 个项目里位列前 6%。

近 41 天,它的 GitHub 星标从 12,702 增加到 13,064,净增 362。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-22。需自行部署。

它主要面向的使用场景是:企业构建统一的AI接入层,管理多个LLM提供商。同类可对比的替代方案包括 LiteLLM、Kong AI Gateway、Portkey。

上一篇:casdoor

下一篇:LMCache

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09