llm-gateway

统一安全接入多个大模型，零信任管控 API 调用

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 11 🐛 待处理 14 👀 关注 1
GitHub ↗
GitHub 星标 ★ 105
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可自行部署，无收费计划。

项目预览

llm-gateway 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队openziti
GitHubhttps://github.com/openziti/llm-gateway
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可自行部署，无收费计划。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型agentic-ai,ai-gateway,ai-infrastructure,ai-security,anthropic,e2e-encryption,llm-gateway,llm-proxy,llm-security,load-balancing,non-human-identity,ollama,openapi-compatible,openziti,self-hosted,semantic-routing,vllm,zero-trust,zero-trust-networking,zrok
GitHub 星标★ 105
上线时间2026-02-05 00:00:00
代码更新2026-10-14
仓库体积6.0 MB
本站数据更新2026-11-10
维护状态较活跃
收录时间2026-08-09
浏览次数6

项目介绍

llm-gateway 是一个零信任的 LLM 网关，提供 OpenAI 兼容的代理服务，支持语义路由和负载均衡，可对接 OpenAI、Anthropic、Ollama、vLLM 等任意兼容后端。它解决的是企业在大规模使用多个 LLM 服务时的统一接入、安全管控和流量调度问题。核心能力包括：基于身份（identity）的访问控制，而非简单的 API Key；虚拟 API Key 机制，可精细管理不同用户或应用的权限；通过 OpenZiti 实现端到端加密，确保数据在传输过程中的安全。项目采用 Go 语言开发，性能高、部署简单，适合作为企业内部 AI 基础设施的入口，统一管理所有模型调用，提升安全性和可观测性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 105

核心亮点

  • OpenAI 兼容接口，无缝替换现有调用，迁移成本低
  • 语义路由智能分发请求到最合适的模型，优化成本与效果
  • 基于 OpenZiti 的零信任网络，端到端加密，安全性强

不足之处

  • 早期项目，星标仅 85，社区生态和文档尚不完善
  • 功能覆盖有限，高级策略（如限流、审计）可能需自行扩展

适用场景

  • 企业内部统一管理多个 LLM 服务，实现安全访问和成本控制
  • 需要为不同团队或应用分配独立虚拟 API Key，进行权限隔离
  • 在混合云或边缘环境部署，通过 OpenZiti 保障通信安全

替代项目

LiteLLM、OpenRouter、Kong AI Gateway

上一篇：infermux

下一篇：redb-open

同类项目推荐

midjourney-proxy 开源

把 Midjourney 变成 API，一行代码接入 AI 绘图

The world's most complete open-source Midjourney API — Discord, YouChuan and the of···

★ 831 2026-08-09
NoLlama 开源

让 Intel NPU 跑起 Ollama 风格本地大模型 API

NPU Ollama - An Ollama/OpenAI compatible API for Intel OpenVINO compatible computers

★ 133 2026-10-29
brinicle 开源

低内存跑向量检索，小机器也能扛千万级索引

A resource-efficient C++ vector index engine built for low-RAM production workloads

★ 101 2026-09-18
langkit 开源

给大模型装上监控仪表盘，实时洞察输出质量与安全风险

LangKit: An open-source toolkit for monitoring Large Language Models (LLMs). Extrac···

★ 1005 2026-08-09
subnet-2 开源

给去中心化 AI 推理加上可验证证明

Verifiable inference on Bittensor

★ 2463 2026-11-08
agentcat-python-sdk 开源

给 MCP 服务器装上监控眼，实时洞察 AI 代理调用。

AgentCat is an analytics platform for MCP server owners .

★ 53 2026-08-09
metaai-api 开源

免 Key 调用 Meta AI，快速集成聊天、生图、生视频

FastAPI wrapper for Meta AI with chat, image generation & video generation. Easy dep···

★ 96 2026-08-09
pgvector_pgsql_windows 开源

Windows 上原生跑 pgvector，免 Docker 直接装

pgvector for PostgreSQL Windows (native compiled in Microsoft Windows environment)

★ 233 2026-08-09