项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-25 · 当前星标 ★ 669
核心亮点
- 同时兼容 OpenAI 与 Anthropic 两套 API 协议，迁移现有应用成本低
- KV cache 感知路由，在多实例部署下可提升缓存命中、降低推理开销
- Rust 实现且提供 gRPC 流水线，高并发场景下延迟与资源占用可控
不足之处
- 项目处于早期，669 星规模下生产案例和长期稳定性待观察
- 支持的引擎与功能面很广，各后端特性对齐程度和文档完整度需逐项验证
适用场景
- 企业内多个推理集群（vLLM/SGLang 等）统一暴露为标准 API 网关
- 需要同时服务 OpenAI 与 Anthropic 协议客户端的 SaaS 平台
- 多租户 LLM 平台做模型路由、配额与鉴权的前置层
替代项目
LiteLLM、Portkey Gateway、OpenRouter
下一篇：没有了！
同类项目推荐
airllm
开源
4GB 显卡跑 70B 大模型，显存不够也能玩转
AirLLM 2.8T LLM inference with single 4GB GPU
mloperator
开源
在K8s上轻松跑AI训练、推理和智能体沙箱
ML/AI training/serving and agent sandbox operator and controller for Kubernetes
whylogs-java
开源
用 Java 给 ML 数据管道做实时体检，早发现数据漂移
Profile and monitor your ML data pipeline end-to-end
genai-prices
开源
按 token 算清大模型调用花多少钱
Calculate prices for calling LLM inference APIs.
vox-serve
开源
让 TTS/STS 模型秒变低延迟流式在线服务
A Streaming-Native Serving Engine for TTS/STS Models
optimum-intel
开源
让 Hugging Face 模型在 Intel 芯片上跑得更快，几行代码实现加速。
Optimum Intel: Accelerate inference with Intel optimization tools
mistral-inference
开源
官方推理库，快速跑通 Mistral 模型，省心部署
Official inference library for Mistral models
agentacct
开源
看清你的 AI 编程代理干了啥、花了多少钱
See what your coding agents did and what it cost. Breaks each task down into work st···
arcbox
开源
让 AI 智能体在 100ms 内跑进隔离虚拟机，安全又高效
Run AI agents on real and isolated machines — own kernel, filesystem, and network —···