项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-30 · 当前星标 ★ 393
核心亮点
- 单一 Rust 二进制交付，无运行时依赖，部署和横向扩展成本低
- 统一多家厂商接口，切换模型只需改配置，应用侧代码不用动
- 原生支持 MCP 等工具协议，方便把外部工具接入 Agent 流程
不足之处
- 项目处于早期，星标不足 400，生产环境验证案例和长期维护稳定性待观察
- 作为新增中间层会引入额外网络跳数与单点故障风险，需要自行做高可用设计
- 各家厂商 API 差异大，新模型和新特性的适配速度依赖维护者投入
适用场景
- 多模型应用需要在 OpenAI、Claude、Gemini 之间按成本或效果动态切换
- 企业内部统一收口大模型调用，集中做鉴权、限流和用量统计
- 构建 AI Agent 时通过 MCP 统一接入搜索、数据库等外部工具
替代项目
LiteLLM、OpenRouter、Portkey Gateway
下一篇：graphsignal
同类项目推荐
tracecrate
开源
本地查看 Claude Code 运行轨迹，对比两次执行差异
Local-first AI agent trace workbench. Inspect Claude Code, Codex and OTLP logs, comp···
tiygate
开源
给 LLM 服务加个高可用保险，自动切换不宕机
TiyGate is a lightweight gateway for highly available LLM services. 一款致力于提供高···
sd-webui-stable-horde-worker
开源
把闲置 GPU 接入 Stable Horde，边赚积分边帮别人出图
Stable Horde Unofficial Worker Bridge as Stable Diffusion WebUI (AUTOMATIC1111) Exte···
ax-llm
开源
把大模型塞进爱芯芯片，OpenAI 接口即插即用
Explore LLM model deployment based on AXera's AI chips, It provides OpenAI‑compatib···
vektori
开源
让 AI 代理记住完整故事，而非零散事实
Memory that remembers the story not just the facts. File System Memory and Three lay···
agentcat-python-sdk
开源
给 MCP 服务器装上监控眼，实时洞察 AI 代理调用。
AgentCat is an analytics platform for MCP server owners .
Awesome-DiT-Inference
开源
一站式索引扩散模型推理加速论文与代码，快速提升生成效率
A curated list of Awesome Diffusion Inference Papers with Codes: Sampling, Cache, Qu···
onediff
开源
一键加速扩散模型，生成速度提升数倍，画质不变
OneDiff: An out-of-the-box acceleration library for diffusion models.
vox-serve
开源
让 TTS/STS 模型秒变低延迟流式在线服务
A Streaming-Native Serving Engine for TTS/STS Models