项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 163
核心亮点
- 单二进制部署，Go 编译产物无外部依赖，启动即用
- 内置多供应商密钥轮换，避免单密钥限流或失效导致服务中断
- 请求级路由规则可编程，支持按模型、用户或权重分发到不同后端
不足之处
- 早期项目，插件生态和高级策略（如语义缓存）尚未成熟
- 文档/社区待观察
适用场景
- 企业内部统一管理多个AI服务商API密钥与调用入口
- 需要按团队或项目分配模型调用额度并独立计费
- 希望低成本替换或抽象底层模型供应商，避免厂商锁定
替代项目
LiteLLM、OpenRouter、Kong AI Gateway
同类项目推荐
vllm-ultimate-dgx-spark
开源
DGX Spark 新硬件开箱即跑 vLLM 推理镜像
AEON vLLM Ultimate — vLLM 0.27.1 built from source for DGX Spark / Blackwell (sm_12···
airweave
开源
各种数据源一次接好，智能体随时有料可查
Open-source context retrieval layer for AI agents
Your-First-LLM-Studio
开源
在 Mac 上本地跑、比、测多个大模型，一站式搞定
First LLM Studio: local-first LLM workbench for Apple Silicon + MLX. 本地优先 LLM 工···
swiftLLM
开源
用 2000 行代码实现 vLLM 级推理性能，研究利器
A tiny yet powerful LLM inference system tailored for researching purpose. vLLM-equi···
qwen.cpp
开源
用 C++ 在本地快速跑通 Qwen 模型，无需 Python 环境。
C++ implementation of Qwen-LM
moss
开源
不用向量数据库，10毫秒内搞定AI检索
The retrieval layer for production AI systems. Lightning-fast (<10ms) search without···
llmaz
开源
在 K8s 上一键部署多种 LLM 推理服务
☸️ Easy, advanced inference platform for large language models on Kubernetes. Sta···
k8m
开源
给 K8s 配个 AI 助手，一句话搞定集群运维
一款轻量级、跨平台的 Mini Kubernetes AI Dashboard，支持大模型+智能体+MCP(支持设置操作···
vllm-lens
开源
在 vLLM 推理中实时取激活、注入引导向量
Extract residual-stream activations and apply steering vectors (including activation···