Switchyard

不改代码，把 LLM 请求灵活分发到多模型多供应商

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 358 🐛 待处理 124 👀 关注 12
GitHub ↗
GitHub 星标 ★ 3502
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，无官网定价信息

项目预览

Switchyard 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队NVIDIA-NeMo
GitHubhttps://github.com/NVIDIA-NeMo/Switchyard
定价模式🏷️完全免费
价格说明开源项目，无官网定价信息
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Rust
GitHub 星标★ 3502
上线时间2026-05-19 00:00:00
代码更新2026-11-09
仓库体积155.0 MB
本站数据更新2026-11-10
维护状态活跃
收录时间2026-11-10
浏览次数0

项目介绍

Switchyard 是一个用 Rust 编写的 LLM 流量路由层，面向需要在多个模型与供应商之间调度请求的应用。它保持与 OpenAI 和 Anthropic 原生 API 兼容，应用无需改动调用代码即可把请求转发到不同后端，从而做模型选型、A/B 对比和成本/性能优化。核心能力包括：统一入口接收标准格式请求并按策略分发到不同模型或供应商；支持基准测试与效果对比，便于评估同一任务在不同模型上的表现；提供灵活的模型选择能力，可按成本、延迟或质量目标调整路由。Rust 实现带来较低的资源开销和较高并发处理能力，适合作为 LLM 应用与上游模型服务之间的中间层部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-10 · 当前星标 ★ 3502

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶 约 15 分钟 部署方式：库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

  • Rust 开发环境（libsy 以 crate 形式发布，需嵌入 Rust 服务）
  • Python 环境（项目在 PyPI 发布 nemo-switchyard 包）
  • 自备上游模型供应商的访问凭据与模型客户端
  • 已有网关或 agent harness，用于承载路由决策

安装与启动步骤

  1. 1获取项目源码

    把仓库克隆到本地，作为阅读文档和后续集成的基础；项目同时发布 PyPI 与 crates.io 包。

    git clone https://github.com/NVIDIA-NeMo/Switchyard.git

  2. 2选择接入方式

    README 给出三条路径：使用现有网关集成、在自有服务中嵌入 libsy、用演示服务器本地评估。

  3. 3准备模型凭据

    Switchyard 只负责路由决策，模型客户端、凭据与服务由使用者自己持有，先备好上游访问信息。

  4. 4本地评估路由

    按 README 的 Evaluate Switchyard locally 一项，用演示服务器在自有模型池上对比不同路由配置。

如何确认成功

README 节选未给出启动命令与端口，需按仓库 How to use it 对应章节接入后观察路由决策输出。

常见问题

Q：可以直接运行一个服务端口吗？

A：README 节选只提到演示服务器用于本地评估，未给出启动命令和端口，请查阅仓库内对应章节确认。

Q：需要修改现有应用的调用代码吗？

A：不需要。项目保持与 OpenAI、Anthropic 原生 API 兼容，按 README 通过网关集成方式接入即可。

Q：模型密钥由谁管理？

A：由使用者自己管理。README 明确说明模型客户端、凭据和服务都归使用者所有，Switchyard 只提供路由决策。

Q：支持哪些语言的接入？

A：核心 libsy 为 Rust 实现，适合嵌入 Rust 网关或 agent harness；同时提供 PyPI 包 nemo-switchyard 供 Python 侧使用。

注意事项

  • 本次 README 节选缺少安装命令与配置示例，实际部署前请以仓库完整文档为准。
  • 仅按 README 提到的三种使用路径操作，不要臆测端口、参数或配置文件路径。
  • 路由策略（成本、延迟、质量目标）需结合自有模型池实际测试后再上线。

核心亮点

  • 保持 OpenAI 与 Anthropic 原生 API 兼容，接入现有应用几乎零改造
  • 用 Rust 实现，单实例资源占用低、并发处理能力强
  • 支持按策略在多模型/多供应商间路由，便于做基准对比和成本优化

不足之处

  • 项目仍处成长阶段，路由策略与可观测性等周边功能可能不够完善
  • 文档与社区生态相对早期，遇到问题可参考的案例较少

适用场景

  • 同一应用内按任务类型把请求分发给不同价位或能力的模型
  • 上线前用真实流量对多个模型做效果与成本对比
  • 为 LLM 服务增加统一入口，集中管理多供应商的调用与配额

替代项目

LiteLLM、OpenRouter、Portkey Gateway

上一篇：opencode2api

下一篇：kapitsa

同类项目推荐

ml_in_production 开源

看多种ML模型部署方式，选型不踩坑

A set of demo of deploying a Machine Learning Model in production using various meth···

★ 61 2026-08-09
llamacore 开源

本地跑 GGUF 模型，点点鼠标就能聊、转、训、编排

Full-featured desktop client for llama.cpp. Chat with local GGUF models, manage llam···

★ 96 2026-10-16
mlops-workload-orchestrator 开源

在AWS上标准化编排ML管道，让模型上线更规范高效

The MLOps Workload Orchestrator solution helps you streamline and enforce architectu···

★ 157 2026-08-09
gibram 开源

内存知识图谱，让 RAG 检索更懂关系

GibRAM is an in-memory knowledge graph server designed for retrieval augmented gener···

★ 107 2026-08-09
os 开源

像 cPanel 一样管服务器，容器化建站还能让 AI 代劳

Host-in-a-box. cPanel-like UX, Docker portability, agent-ready.

★ 360 2026-10-18
ncnn_llm 开源

让大模型在手机端离线跑起来，不依赖 GPU 和 Python。

A repo for llm on ncnn

★ 254 2026-10-06
paas-data-ingestion 开源

用Pulumi+Lambda+Snowflake搭建可重放的数据管道，告别数据不一致

Ingesting data with Pulumi, AWS lambdas and Snowflake in a scalable, fully replayabl···

★ 70 2026-08-09
fastembed 开源

轻量快速生成文本向量，让嵌入计算快人一步

Fast, Accurate, Lightweight Python library to make State of the Art Embedding

★ 3287 2026-08-09
GenAIComps 开源

把大模型功能拆成积木，按需拼出你的 AI 服务

GenAI components at micro-service level; GenAI service composer to create mega-servi···

★ 201 2026-10-19