LLM-API-Key-Proxy

一个 API 接入所有大模型,自动切换密钥和负载均衡

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 106 🐛 待处理 19 👀 关注 6
GitHub ↗
GitHub 星标 ★ 560
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,可自行部署,免费使用。

项目预览

LLM-API-Key-Proxy 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队Mirrowel
定价模式🏷️完全免费
价格说明开源项目,可自行部署,免费使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型api-key,gemini-api,large-language-model,large-language-models,llm
GitHub 星标★ 560
上线时间2025-06-10 00:00:00
代码更新2026-11-02
仓库体积7.6 MB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-09
浏览次数9

项目介绍

LLM-API-Key-Proxy 是一个通用的 LLM 网关,旨在统一管理多个大语言模型提供商的 API 密钥和端点。它解决了开发者在集成不同 LLM 服务(如 OpenAI、Anthropic、Gemini 等)时面临的接口不一致、密钥分散管理、负载均衡等问题。项目提供 OpenAI/Anthropic 兼容的 API 端点,支持多提供商之间的请求转换和智能负载均衡,使开发者可以通过单一 API 访问所有主流 LLM,简化集成流程,降低维护成本。核心能力包括:多密钥轮换、请求路由、协议翻译、健康检查和故障转移。作为早期项目,其设计理念清晰,适合需要多模型冗余或成本优化的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 560

使用教程

难度:进阶 约 40 分钟 部署方式:自托管 5 步

环境要求

  • Python 环境
  • 至少一家模型服务密钥

安装与启动步骤

  1. 1克隆

    把多家模型服务统一成兼容接口的自托管代理。

    git clone https://github.com/Mirrowel/LLM-API-Key-Proxy.git
  2. 2建环境

    虚拟环境隔离,别污染系统。

    python3 -m venv venv
  3. 3装依赖

    按清单装。

    pip install -r requirements.txt
  4. 4管密钥

    用它自带的工具轮换与检查凭据。

    python -m rotator_library.credential_tool
  5. 5起服务

    只监听本地,先验证一个后端。

    python src/proxy_app/main.py

如何确认成功

把编码工具的接口地址指向它后能正常对话,日志里能看到请求被路由到哪个后端

注意事项

  • 它的价值是统一接口与密钥轮换。
  • 密钥集中在一处,泄露影响面更大。
  • 不同服务商的参数支持不一致,跨后端要回归。
  • 只监听本地地址,别暴露公网。

核心亮点

  • 提供 OpenAI/Anthropic 兼容端点,迁移成本低,可直接替换现有代码
  • 内置智能负载均衡和密钥轮换,提升可用性和稳定性
  • 支持多提供商协议翻译,统一接口,简化多模型管理

不足之处

  • 早期项目,文档和社区支持尚不完善
  • 高级功能如自定义路由策略可能依赖额外配置,需自行探索

适用场景

  • 需要同时使用多个 LLM 提供商以降低依赖风险
  • 管理多个 API 密钥并希望自动轮换以提升安全性
  • 构建统一 AI 网关,为内部团队提供标准接口

替代项目

LiteLLM、OpenRouter、Kong AI Gateway

上一篇:milvus

下一篇:picollm

同类项目推荐

mesh-api 开源

让 LoRa 设备接入 AI 和 API,无网也能智能通信

MESH-API — Off-Grid AI & API Router & with MCP server & over 30 API extensions for···

★ 186 2026-08-09
ContextPilot 开源

长上下文推理瘦身,不丢精度还更快

Accelerating Long Context LLM Inference with Accuracy-Preserving Context Optimizatio···

★ 146 2026-10-02
statewave 开源

给AI智能体装上可追溯的长期记忆,告别查询式检索

Open-source memory runtime for AI agents — reproducible, provenance-tagged context ···

★ 257 2026-08-09
MLOps 开源

跟着示例,快速上手机器学习运维全流程

MLOps examples

★ 2121 2026-08-09
freellmpool 开源

一个接口聚合22家免费大模型,自动切换不怕挂

Free LLM gateway: 22 LLM providers, 178 enabled chat routes, 431 cataloged chat mode···

★ 147 2026-09-24
YourMemory 开源

让 AI 像人一样记住该记的,忘掉该忘的

Agentic AI memory with Ebbinghaus forgetting curve decay. +16pp better recall than M···

★ 271 2026-08-09
gpt-load 开源

把多个 AI 账号聚合成一个入口,自动轮换防封省额度

Self-hosted AI gateway for multi-channel, multi-credential setups — API keys and su···

★ 7201 2026-10-17
langkit 开源

给大模型装上监控仪表盘,实时洞察输出质量与安全风险

LangKit: An open-source toolkit for monitoring Large Language Models (LLMs). Extrac···

★ 1005 2026-08-09