llm-gateway

一套接口接所有大模型，Agent 换供应商不用改代码

llm-gateway 是一个用 TypeScript 编写的 LLM 统一网关，定位是让各类 AI Agent 与开发框架能够无缝对接任意模型供应商。它解决的核心问题是：当团队同时使用 OpenAI、Anthropic 等多家模型服务时，接口协议、鉴权方式、计费口径各不相同，导致 Agent 代码与具体供应商强耦合，切换或混用成本很高。项目通过提供兼容 OpenAI API 的统一入口，把请求路由、供应商适配、BYOK（自带密钥）管理集中到一层，上层 Agent 或 Harness 只需按一套接口调用即可。此外它内置成本追踪与可观测能力，能记录每次调用的 token 消耗和费用，便于做预算控制和用量分析。整体属于基础设施层工具，适合需要多模型接入、成本透明和统一治理的 AI 应用团队。

开源 freemium 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 7528

维护状态活跃

是否开源是

定价模式 freemium

项目数据

分类基础设施

开发团队mnfst

所属国家

官网地址https://manifest.build

GitHubhttps://github.com/mnfst/llm-gateway

定价模式freemium

价格说明开源网关，云服务含免费额度与付费订阅，定价信息待确认

访问状态

是否开源是

开源协议MIT

主要语言TypeScript

技术栈/模型ai,ai-,ai-sdk,anthropic,byok,cost-tracking,gateway,hermes-agent,llm-observability,llm-router,open-source,openai-api,openclaw,subscription,token-tracking

GitHub 星标★ 7528

30天Star增速

HF 下载量

上线时间2022-09-27 00:00:00

最近更新2026-09-18 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-16

浏览次数0

使用教程

难度：入门约 10 分钟部署方式：云服务 5 步

环境要求

一键部署平台账号（Railway / Render / DigitalOcean / AWS / GCP 等）
持久化请求记录存储：PostgreSQL + S3 兼容存储或持久化磁盘
至少一家模型供应商的 API Key（BYOK 自带密钥）
若用 DigitalOcean / Heroku / Koyeb，需提前准备外部 S3 兼容存储配置

安装与启动步骤

1选择部署平台

优先选 Railway：官方模板已包含 Manifest、PostgreSQL 和 S3 兼容的请求记录存储，是最省事的路径。
2点击一键部署

在所选平台打开部署链接，按引导授权仓库并创建应用；AWS/GCP 走对应 CloudFormation 或 DeployStack 模板。
3确认存储已就绪

Railway、AWS、GCP、Fly.io 会原生分配存储；Render、Coolify、Easypanel、Docker 需挂载持久卷；DigitalOcean、Heroku、Koyeb 会在安装时要求填写 S3 兼容配置。
4填入供应商密钥

部署过程中按提示填入 OpenAI、Anthropic 等供应商的 API Key（BYOK），网关据此路由请求并记录费用。
5可选：本地取源码

如需查看部署模板或本地改造，可先克隆仓库；注意旧的 npm 自托管方式已不再支持，请改用 Docker 镜像或官方部署指南。
```
git clone https://github.com/mnfst/llm-gateway.git
```

关键配置

配置项	必填	说明	示例
`S3-compatible storage settings`	是	DigitalOcean、Heroku、Koyeb 部署时需提供，用于持久化请求记录	`https://s3.amazonaws.com`
`模型供应商 API Key`	是	BYOK 自带密钥，网关用它调用对应模型供应商	`sk-xxxxxxxx`
`PostgreSQL 连接`	是	一键部署模板会自动创建，用于存放网关元数据	`postgres://user:pass@host:5432/db`

如何确认成功

部署平台显示服务运行正常，打开平台分配的服务地址能访问网关，并用 OpenAI 兼容接口发一次请求得到模型响应。

常见问题

Q：还能用 npm 方式自托管吗？

A：不能。README 明确说明旧的 npm 自托管路径已不再支持，请改用 Docker 镜像或官方提供的一键部署指南。

Q：哪个平台部署最简单？

A：Railway 是最佳路径，模板已包含 Manifest、PostgreSQL 和 S3 兼容的请求记录存储，基本无需额外配置。

Q：可以横向扩容多实例吗？

A：卷挂载的模板是单实例。若要水平扩容，必须先把请求记录存储换成 S3 兼容存储再扩容。

Q：请求记录存储是必须的吗？

A：是。所有部署路径都要求持久化请求记录存储，只是在各平台上的提供方式不同。

注意事项

所有部署路径都需要持久化请求记录存储，缺少存储会导致部署不完整
卷挂载模板为单实例，扩容前务必先切换到 S3 兼容存储
README 未给出具体 Docker 镜像名与本地 docker run 命令，本地部署请以官方部署指南为准
项目定位是 OpenAI API 兼容的统一网关，上层 Agent 按一套接口调用即可切换供应商

核心亮点

统一 OpenAI 兼容入口，上层 Agent 无需为每家供应商写适配代码
支持 BYOK 自带密钥，密钥与路由集中管理，便于多团队共享和权限控制
内置成本追踪与可观测，能按调用统计 token 与费用，方便预算治理

不足之处

作为网关会引入额外网络跳转，对延迟敏感场景需评估
项目处于成长阶段，生态集成与长期稳定性待观察

适用场景

多模型混用的 AI Agent 应用，按任务或成本动态切换供应商
团队统一管理各家 API Key 并统计各项目模型开销
需要兼容 OpenAI SDK 的现有工具快速接入 Anthropic 等模型

替代项目

LiteLLM、Portkey Gateway、OpenRouter

项目介绍

llm-gateway 是一个基础设施领域的开源项目，官方简介：Connect Your Agents And Harnesses With Any Provider。项目使用 TypeScript 开发，在 GitHub 上获得 7525 星标。

上一篇：LLMLingua

下一篇：latitude-llm