llmgateway

一个网关搞定所有大模型,统一管理、路由和分析请求。

llmgateway 是一个基于 TypeScript 构建的轻量级 LLM API 网关,旨在统一管理多个大模型提供商的请求。它通过一个统一的 API 接口,让开发者可以无缝切换和路由请求到 OpenAI、Anthropic、Google 等不同服务商,同时提供请求日志、成本追踪、用量分析等可观测性功能。项目解决了多模型接入时接口碎片化、密钥管理分散、调用监控缺失等问题,核心能力包括智能路由(支持按模型能力、成本或自定义规则分发请求)、统一的请求/响应格式转换、内置的缓存与重试机制,以及一个简单的仪表盘用于查看历史请求和消耗。它适合需要多模型灾备、成本优化或集中管控 AI 调用的团队,部署简单,可自托管,也支持 Docker 一键启动。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1658
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队theopenco
所属国家
定价模式free
价格说明开源项目,可自行部署,无付费版本,全部功能免费。
访问状态
是否开源是
开源协议NOASSERTION
主要语言TypeScript
技术栈/模型ai,ai-gateway,analytics,anthropic,api-key-management,claude,codex,enterprise,guardrails,inference,llm,llm-gateway,llm-proxy,llms,observability,openai,opencode,rate-limiting,typescript
GitHub 星标★ 1658
30天Star增速
HF 下载量
上线时间2025-04-12 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:进阶 约 15 分钟 部署方式:Docker 6 步

环境要求

  • 已安装 Docker(自托管部署必需)
  • 已安装 openssl,用于生成随机密钥
  • 本地开发需安装 pnpm 与 Node.js 环境
  • WSL2 用户需确保 Docker Desktop 已开启 WSL 集成

安装与启动步骤

  1. 1生成网关密钥

    用 openssl 生成两个随机密钥并导出为环境变量,供后续容器启动时注入使用。

    export LLM_GATEWAY_SECRET="$(openssl rand -base64 32 | tr -d '
    ')"
    export GATEWAY_API_KEY_HASH_SECRET="$(openssl rand -base64 32 | tr -d '
    ')"
  2. 2运行一键启动脚本

    README 推荐方式,脚本位于仓库 scripts 目录,会拉起一体化镜像所需的全部服务。

    ./scripts/run-unified-container.sh
  3. 3或手动 docker run

    不想用脚本时,先创建两个命名卷,再启动容器并把密钥通过 -e 传入,务必使用命名卷。

    docker volume create llmgateway_postgres
    docker volume create llmgateway_redis
    
    docker run -d 
      --name llmgateway 
      --restart unless-stopped 
      -p 3002:3002 
      -p 3003:3003 
      -p 3005:3005 
      -p 3006:3006 
      -p 3007:3007 
      -p 4001:4001 
      -p 4002:4002 
      -v llmgateway_postgres:/var/lib/postgresql/data 
      -v llmgateway_redis:/var/lib/redis 
      -e AUTH_SECRET="$LLM_GATEWAY_SECRET" 
      -e GATEWAY_API_KEY_HASH_SECRET="$GATEWAY_API_KEY_HASH_SECRET" 
      ghcr.io/theopenco/llmgateway-unified:latest
  4. 4安装依赖并初始化

    本地开发方式:pnpm i 安装依赖,pnpm run setup 会启动 Docker 服务、同步数据库结构并写入种子数据。

    pnpm i && pnpm run setup
  5. 5启动开发服务器

    在仓库根目录执行,启动本地开发用服务,改代码后可直接调试。

    pnpm dev
  6. 6构建生产版本

    部署到生产环境前执行构建,产出可运行的生产包。

    pnpm build

关键配置

配置项必填说明示例
LLM_GATEWAY_SECRET是用 openssl 生成的随机密钥,作为容器 AUTH_SECRET 的取值来源$(openssl rand -base64 32 | tr -d ' ')
GATEWAY_API_KEY_HASH_SECRET是用于网关 API Key 哈希的密钥,需随机生成后注入容器$(openssl rand -base64 32 | tr -d ' ')
AUTH_SECRET是容器内认证密钥,docker run 时通过 -e 传入$LLM_GATEWAY_SECRET

如何确认成功

执行 docker ps 确认 llmgateway 容器处于运行状态,再访问本机映射端口(如 http://localhost:3002)打开界面。

常见问题

Q:为什么不能把宿主机目录挂载到 /var/lib/postgresql/data?

A:PostgreSQL 在容器内初始化时需要为该目录设置权限,绑定挂载宿主机目录会因宿主机文件系统与属主差异而失败,请改用命名卷。

Q:不想自己部署服务器怎么办?

A:可以直接使用托管版本,访问 llmgateway.io 注册账号并获取 API Key 即可,无需任何安装配置。

Q:密钥应该怎么生成?

A:按 README 的方式执行 openssl rand -base64 32 | tr -d ' ' 生成随机字符串,两个密钥分别生成,不要复用同一个值。

Q:WSL2 下跑开发环境报错怎么办?

A:请确认 Docker Desktop 已启动,并已在设置中开启 WSL 集成,否则 pnpm run setup 无法拉起 Docker 服务。

注意事项

  • 统一镜像必须使用 Docker 管理的卷,禁止把宿主机目录直接绑定挂载到 /var/lib/postgresql/data。
  • 容器默认暴露 3002、3003、3005、3006、3007、4001、4002 端口,注意宿主机端口是否被占用。
  • 本地开发依赖 pnpm,README 未给出 npm/yarn 的替代用法。
  • README 中托管版本与自托管版本二选一,托管版只需在 llmgateway.io 注册获取 API Key。

核心亮点

  • 统一 API 接口,切换或并行调用多家模型无需改业务代码
  • 内置请求日志和用量统计,方便追踪成本和排查问题
  • 支持自定义路由规则,可按价格或模型能力智能分发

不足之处

  • 项目较新,文档和社区生态尚待完善
  • 高级功能(如复杂策略、多租户)可能需自行扩展

适用场景

  • 多模型灾备:主模型故障时自动切换备用模型
  • 成本优化:按价格路由请求到最经济的模型
  • 集中审计:统一记录所有 LLM 调用日志,满足合规要求

替代项目

LiteLLM、OpenRouter、Kong AI Gateway

项目介绍

llmgateway 是基础设施领域的开源项目,由 theopenco 开发,2025 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(1,658)位列前 30%,在基础设施分类中处于中上游。

近 42 天,它的 GitHub 星标从 1,526 增加到 1,658,净增 132。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-23。可自行部署,无付费版本,全部功能免费。

它主要面向的使用场景是:多模型灾备:主模型故障时自动切换备用模型。同类可对比的替代方案包括 LiteLLM、OpenRouter、Kong AI Gateway。

上一篇:nvidia_gpu_exporter

下一篇:uccl

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09