inference-gateway

一个网关统一接入本地与云端大模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 48 🐛 待处理 1 👀 关注 1

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 214

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，需自行部署

项目预览

项目数据

分类基础设施

开发团队inference-gateway

官网地址https://docs.inference-gateway.com

GitHubhttps://github.com/inference-gateway/inference-gateway

定价模式🏷️完全免费

价格说明开源免费，需自行部署

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Go

技术栈/模型agnostic,anthropic,api,deepseek-v4-pro,gateway,gateway-api,golang,inference-api,kubernetes,llm,mcp,openai,opensource,opensource-projects,opentelemetry,performance,proxy,proxy-server,self-hosted,tracing

GitHub 星标★ 214

上线时间2025-01-08 00:00:00

代码更新2026-11-07

仓库体积5.1 MB

本站数据更新2026-11-08

维护状态活跃

收录时间2026-11-08

浏览次数0

项目介绍

inference-gateway 是一个用 Go 编写的开源、云原生高性能 LLM 推理网关，目标是把分散的模型供应商统一到一个入口后面。它支持本地 Ollama 以及 OpenAI、Groq、Cohere、Anthropic、Cloudflare、DeepSeek 等云端服务，让应用只需对接一套 API 就能切换或组合不同模型。核心能力包括多供应商路由与统一请求格式、面向 Kubernetes 的云原生部署形态、对 MCP 等协议的支持，以及网关层集中处理鉴权、限流和可观测性等横切关注点。它解决的是多模型接入时 SDK 碎片化、密钥分散、切换成本高的问题，适合需要同时使用本地与云端模型、又希望保持架构一致性的团队。项目处于早期阶段，星标约 214，采用 Go 语言实现，强调高性能与供应商无关。