
LLM-API-Key-Proxy
一个 API 接入所有大模型,自动切换密钥和负载均衡
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 560
使用教程
环境要求
- Python 环境
- 至少一家模型服务密钥
安装与启动步骤
-
1克隆
把多家模型服务统一成兼容接口的自托管代理。
git clone https://github.com/Mirrowel/LLM-API-Key-Proxy.git -
2建环境
虚拟环境隔离,别污染系统。
python3 -m venv venv -
3装依赖
按清单装。
pip install -r requirements.txt -
4管密钥
用它自带的工具轮换与检查凭据。
python -m rotator_library.credential_tool -
5起服务
只监听本地,先验证一个后端。
python src/proxy_app/main.py
如何确认成功
把编码工具的接口地址指向它后能正常对话,日志里能看到请求被路由到哪个后端
注意事项
- 它的价值是统一接口与密钥轮换。
- 密钥集中在一处,泄露影响面更大。
- 不同服务商的参数支持不一致,跨后端要回归。
- 只监听本地地址,别暴露公网。
核心亮点
- 提供 OpenAI/Anthropic 兼容端点,迁移成本低,可直接替换现有代码
- 内置智能负载均衡和密钥轮换,提升可用性和稳定性
- 支持多提供商协议翻译,统一接口,简化多模型管理
不足之处
- 早期项目,文档和社区支持尚不完善
- 高级功能如自定义路由策略可能依赖额外配置,需自行探索
适用场景
- 需要同时使用多个 LLM 提供商以降低依赖风险
- 管理多个 API 密钥并希望自动轮换以提升安全性
- 构建统一 AI 网关,为内部团队提供标准接口
替代项目
LiteLLM、OpenRouter、Kong AI Gateway
同类项目推荐
stable-diffusion-webui-auto-tls-···
开源
一键给SD WebUI加HTTPS,远程访问不怕被偷看
An extension for AUTOMATIC1111's Stable Diffusion Web-UI that enables easy or zero-c···
mesh-api
开源
让 LoRa 设备接入 AI 和 API,无网也能智能通信
MESH-API — Off-Grid AI & API Router & with MCP server & over 30 API extensions for···
ContextPilot
开源
长上下文推理瘦身,不丢精度还更快
Accelerating Long Context LLM Inference with Accuracy-Preserving Context Optimizatio···
statewave
开源
给AI智能体装上可追溯的长期记忆,告别查询式检索
Open-source memory runtime for AI agents — reproducible, provenance-tagged context ···
MLOps
开源
跟着示例,快速上手机器学习运维全流程
MLOps examples
freellmpool
开源
一个接口聚合22家免费大模型,自动切换不怕挂
Free LLM gateway: 22 LLM providers, 178 enabled chat routes, 431 cataloged chat mode···
YourMemory
开源
让 AI 像人一样记住该记的,忘掉该忘的
Agentic AI memory with Ebbinghaus forgetting curve decay. +16pp better recall than M···
gpt-load
开源
把多个 AI 账号聚合成一个入口,自动轮换防封省额度
Self-hosted AI gateway for multi-channel, multi-credential setups — API keys and su···
langkit
开源
给大模型装上监控仪表盘,实时洞察输出质量与安全风险
LangKit: An open-source toolkit for monitoring Large Language Models (LLMs). Extrac···