llm-gateway

一套接口接所有大模型，Agent 换供应商不用改代码

开源 🏷️基础免费，高级付费 ⚠️ 链接可跳转，访问体验不确定 基础设施 🍴 复刻 524 🐛 待处理 52 👀 关注 28
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 7612
维护状态 活跃
是否开源 开源
定价模式 🏷️基础免费，高级付费 支持限时试用 · 开源网关，云服务含免费额度与付费订阅，定价信息待确认

项目预览

llm-gateway 项目界面预览图
图片来源：项目官网

项目数据

分类基础设施
开发团队mnfst
官网地址https://manifest.build
GitHubhttps://github.com/mnfst/llm-gateway
定价模式🏷️基础免费，高级付费
价格说明开源网关，云服务含免费额度与付费订阅，定价信息待确认
访问状态⚠️ 链接可跳转，访问体验不确定
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型ai,ai-,ai-sdk,anthropic,byok,cost-tracking,gateway,hermes-agent,llm-observability,llm-router,open-source,openai-api,openclaw,subscription,token-tracking
GitHub 星标★ 7612
上线时间2022-09-27 00:00:00
代码更新2026-10-29
仓库体积215.0 MB
本站数据更新2026-11-02
维护状态活跃
收录时间2026-09-16
浏览次数1

项目介绍

llm-gateway 是一个用 TypeScript 编写的 LLM 统一网关，定位是让各类 AI Agent 与开发框架能够无缝对接任意模型供应商。它解决的核心问题是：当团队同时使用 OpenAI、Anthropic 等多家模型服务时，接口协议、鉴权方式、计费口径各不相同，导致 Agent 代码与具体供应商强耦合，切换或混用成本很高。项目通过提供兼容 OpenAI API 的统一入口，把请求路由、供应商适配、BYOK（自带密钥）管理集中到一层，上层 Agent 或 Harness 只需按一套接口调用即可。此外它内置成本追踪与可观测能力，能记录每次调用的 token 消耗和费用，便于做预算控制和用量分析。整体属于基础设施层工具，适合需要多模型接入、成本透明和统一治理的 AI 应用团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 7612

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门 约 10 分钟 部署方式：云服务 5 步

环境要求

  • 一键部署平台账号（Railway / Render / DigitalOcean / AWS / GCP 等）
  • 持久化请求记录存储：PostgreSQL + S3 兼容存储或持久化磁盘
  • 至少一家模型供应商的 API Key（BYOK 自带密钥）
  • 若用 DigitalOcean / Heroku / Koyeb，需提前准备外部 S3 兼容存储配置

安装与启动步骤

  1. 1选择部署平台

    优先选 Railway：官方模板已包含 Manifest、PostgreSQL 和 S3 兼容的请求记录存储，是最省事的路径。

  2. 2点击一键部署

    在所选平台打开部署链接，按引导授权仓库并创建应用；AWS/GCP 走对应 CloudFormation 或 DeployStack 模板。

  3. 3确认存储已就绪

    Railway、AWS、GCP、Fly.io 会原生分配存储；Render、Coolify、Easypanel、Docker 需挂载持久卷；DigitalOcean、Heroku、Koyeb 会在安装时要求填写 S3 兼容配置。

  4. 4填入供应商密钥

    部署过程中按提示填入 OpenAI、Anthropic 等供应商的 API Key（BYOK），网关据此路由请求并记录费用。

  5. 5可选：本地取源码

    如需查看部署模板或本地改造，可先克隆仓库；注意旧的 npm 自托管方式已不再支持，请改用 Docker 镜像或官方部署指南。

    git clone https://github.com/mnfst/llm-gateway.git

关键配置

配置项必填说明示例
S3-compatible storage settings是DigitalOcean、Heroku、Koyeb 部署时需提供，用于持久化请求记录https://s3.amazonaws.com
模型供应商 API Key是BYOK 自带密钥，网关用它调用对应模型供应商sk-xxxxxxxx
PostgreSQL 连接是一键部署模板会自动创建，用于存放网关元数据postgres://user:pass@host:5432/db

如何确认成功

部署平台显示服务运行正常，打开平台分配的服务地址能访问网关，并用 OpenAI 兼容接口发一次请求得到模型响应。

常见问题

Q：还能用 npm 方式自托管吗？

A：不能。README 明确说明旧的 npm 自托管路径已不再支持，请改用 Docker 镜像或官方提供的一键部署指南。

Q：哪个平台部署最简单？

A：Railway 是最佳路径，模板已包含 Manifest、PostgreSQL 和 S3 兼容的请求记录存储，基本无需额外配置。

Q：可以横向扩容多实例吗？

A：卷挂载的模板是单实例。若要水平扩容，必须先把请求记录存储换成 S3 兼容存储再扩容。

Q：请求记录存储是必须的吗？

A：是。所有部署路径都要求持久化请求记录存储，只是在各平台上的提供方式不同。

注意事项

  • 所有部署路径都需要持久化请求记录存储，缺少存储会导致部署不完整
  • 卷挂载模板为单实例，扩容前务必先切换到 S3 兼容存储
  • README 未给出具体 Docker 镜像名与本地 docker run 命令，本地部署请以官方部署指南为准
  • 项目定位是 OpenAI API 兼容的统一网关，上层 Agent 按一套接口调用即可切换供应商

核心亮点

  • 统一 OpenAI 兼容入口，上层 Agent 无需为每家供应商写适配代码
  • 支持 BYOK 自带密钥，密钥与路由集中管理，便于多团队共享和权限控制
  • 内置成本追踪与可观测，能按调用统计 token 与费用，方便预算治理

不足之处

  • 作为网关会引入额外网络跳转，对延迟敏感场景需评估
  • 项目处于成长阶段，生态集成与长期稳定性待观察

适用场景

  • 多模型混用的 AI Agent 应用，按任务或成本动态切换供应商
  • 团队统一管理各家 API Key 并统计各项目模型开销
  • 需要兼容 OpenAI SDK 的现有工具快速接入 Anthropic 等模型

替代项目

LiteLLM、Portkey Gateway、OpenRouter

上一篇：LLMLingua

下一篇：latitude-llm

同类项目推荐

mlx-flash 开源

让 Apple 设备跑起超内存大模型，流式加载不卡顿。

Flash weight streaming for MLX: run massive models larger than your RAM on Apple Sil···

★ 140 2026-08-09
FreeToken 开源

在桌面端跑起数据中心级大模型，又快又省资源

FreeToken brings datacenter-scale model serving to your desktop. Run massive models ···

★ 15786 2026-09-09
langfuse-mcp 开源

让 AI 代理直接查询 Langfuse 追踪数据，实现自我调试与可观测性。

A Model Context Protocol (MCP) server for Langfuse, enabling AI agents to query Lang···

★ 112 2026-08-09
runanywhere-sdks 开源

本地跑AI，生产级工具包，低延迟高隐私

Production ready toolkit to run AI locally

★ 10333 2026-08-09
claude-tap 开源

本地拦截 AI 编程代理流量，可视化调试每个 API 调用

Intercept and inspect Coding Agent API traffic from Claude Code, Codex CLI, Gemini C···

★ 3322 2026-08-09
deepmem 开源

5分钟换掉Mem0，检索快2倍成本省10倍

Drop-in AI memory layer with 2x faster retrieval and 10x lower cost. Fully compatibl···

★ 114 2026-09-12
pgvecto.rs 开源

在 Postgres 里实现高性能向量搜索，无需迁移数据库。

Scalable, Low-latency and Hybrid-enabled Vector Search in Postgres. Revolutionize Ve···

★ 2191 2026-08-09
tokscale 开源

终端里统一看 AI 编程 token 消耗，参与全球排行。

️ Track token usage across AI coding agents from your terminal. Global leaderboard···

★ 5790 2026-08-09
aisix-archived 开源

用 Rust 打造你的 AI 网关，统一管理多模型请求

An open source, Native AI Gateway and LLM proxy built in Rust

★ 58 2026-08-09