gateway

一个 API 接入 1600+ 模型,内置安全护栏,AI 应用开发提速。

开源 🏷️定价信息待确认 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 1375 🐛 待处理 338 👀 关注 62
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 13346
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

gateway 项目界面预览图
图片来源:项目官网

项目数据

分类开源模型
开发团队Portkey-AI
定价模式🏷️定价信息待确认
价格说明开源项目,需自行部署,定价信息待确认
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型ai-gateway,gateway,generative-ai,hacktoberfest,langchain,llm,llm-gateway,llmops,llms,mcp,mcp-client,mcp-gateway,mcp-servers,model-router,openai
GitHub 星标★ 13346
上线时间2023-08-23 00:00:00
代码更新2026-05-25
仓库体积66.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

gateway 是一个高性能的 AI 网关,旨在统一管理对 1600+ 大语言模型(LLM)的访问,并内置 50+ 种 AI 安全护栏。它通过一个快速且友好的 API,解决了企业在接入多个 AI 提供商时面临的接口碎片化、密钥管理复杂、安全策略难以统一等问题。核心能力包括:智能路由(根据成本、延迟等策略选择最优模型)、统一的 API 格式转换、内置护栏(如 PII 检测、提示注入防护、内容审核等)、以及可观测性支持。该网关基于 TypeScript 开发,性能出色,部署简单,可显著降低 AI 应用开发的集成成本,并提升系统的安全性和可靠性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 13346

使用教程

难度:入门 约 2 分钟 部署方式:命令行工具 4 步

环境要求

  • Node.js 运行环境(README 明确说明需要 Node.js)
  • npm 包管理器
  • 可访问外网以拉取 npm 包(npx)
  • 如需用 Python 调用,需已安装 pip

安装与启动步骤

  1. 1确认 Node 环境

    README 说明运行 Gateway 需要 Node.js 和 npm,请先在本机确认两者已安装可用,版本过旧可能导致启动失败。

    node -v
    npm -v
  2. 2启动 AI Gateway

    用 npx 直接拉取并运行官方包,无需先克隆仓库。启动后会在本机拉起网关服务,保持该终端窗口不要关闭。

    npx @portkey-ai/gateway
  3. 3访问网关控制台

    在浏览器打开控制台地址,可查看网关运行状态并进行后续配置;网关 API 的基础地址为 http://localhost:8787/v1。

  4. 4(可选)安装 Python SDK

    如果要通过 Python 代码调用网关,README 给出了官方 SDK 的安装方式,安装后可从 portkey_ai 导入 Portkey 客户端。

    pip install -qU portkey-ai

如何确认成功

终端显示服务已启动,浏览器打开 http://localhost:8787/public/ 能看到 Gateway 控制台页面,即为成功。

常见问题

Q:运行 Gateway 需要预先安装什么?

A:README 明确说明需要 Node.js 和 npm,使用 npx 命令即可直接启动,无需手动克隆或编译项目源码。

Q:网关默认监听在哪个地址和端口?

A:README 写的是 http://localhost:8787/v1(API 地址),控制台在 http://localhost:8787/public/。

Q:除了本地运行还支持哪些部署方式?

A:README 提到 Portkey Cloud、Docker、Node.js 服务器、Cloudflare Workers、Replit 等,并链接到 docs/installation-deployments.md 查看具体步骤。

Q:企业私有化部署怎么做?

A:README 给出企业版私有部署架构文档,支持 AWS、Azure、GCP、OpenShift、Kubernetes 等平台,详见官方文档链接。

注意事项

  • README 提示 Gateway 2.0 处于预发布阶段,想体验新版本可使用 2.0.0 分支。
  • README 建议企业场景优先使用 Portkey Cloud 托管网关。
  • Docker、Cloudflare、Replit、EC2 等部署方式的具体命令需参考 README 中链接的官方文档,本文未展开。

核心亮点

  • 统一 API 接入 1600+ 模型,切换/调用零成本,极大简化集成工作
  • 内置 50+ 安全护栏(如 PII 检测、提示注入防护),开箱即用,增强 AI 应用安全性
  • 智能路由支持按成本、延迟等策略自动选择最优模型,优化资源利用

不足之处

  • 文档/社区待观察
  • 高级功能(如复杂策略、深度可观测性)可能需要付费订阅

适用场景

  • 企业构建统一的 AI 接入层,管理多个 LLM 提供商
  • 需要为 AI 应用添加安全防护(如防止提示注入、敏感信息泄露)
  • 开发多模型 AI 应用,需根据成本/延迟动态切换模型

替代项目

LiteLLM、Kong AI Gateway、Portkey

上一篇:casdoor

下一篇:LMCache

同类项目推荐

ai-observer 开源

把多个 AI 编程助手的调用记录统一收进本地 DuckDB,随时查。

Unified local observability for agents

★ 290 2026-09-23
ml_in_production 开源

看多种ML模型部署方式,选型不踩坑

A set of demo of deploying a Machine Learning Model in production using various meth···

★ 61 2026-08-09
ocp 开源

把 Claude 订阅变成 OpenAI API,多设备共享零成本

Turn your Claude Pro/Max subscription into an OpenAI-compatible API for your IDEs an···

★ 138 2026-08-09
Yatai 开源

在 Kubernetes 上轻松规模化部署和运维机器学习模型

Model Deployment at Scale on Kubernetes ️

★ 839 2026-08-09
halogen-flash-server 开源

Strix Halo 一键跑 Qwen 本地大模型,开箱即用 OpenAI 接口

Local inference that behaves like a frontier API: Qwen3.8-Flash-Next on AMD Strix Ha···

★ 1261 2026-09-22
myapi 开源

一个终端,搞定网站、后端和支付,快速落地真实业务。

The unified API for autonomous companies. Ship a real business — website, backend, ···

★ 83 2026-08-09
yek 开源

把整个代码库一键打包成 LLM 能懂的上下文

A fast Rust based tool to serialize text-based files in a repository or directory fo···

★ 2475 2026-08-09
router 开源

给 vLLM 集群做请求分发,Rust 写的轻量路由

A high-performance and light-weight router for vLLM large scale deployment

★ 504 2026-10-14
ZETIC_Melange_apps 开源

在手机上用NPU跑AI,又快又省电

NPU powered On-device AI Mobile applications using Melange

★ 69 2026-08-09