按语义智能分发请求，让每个模型干最擅长的活
semantic-router 是一个用 Go 编写的可编程混合模型路由器，专为异构 LLM 推理场景设计。它解决的核心问题是：当企业或开发者需要同时调用多个不同的大语言模型（如 GPT、Claude、Llama 等）时，如何根据请求的语义特征智能地选择最合适的模型，从而优化成本、延迟和响应质量。该项目的核心能力包括：基于语义相似度的路由决策、可编程的路由规则配置、支持动态调整模型权重、以及与主流 LLM API 的无缝集成。它通过将请求分发到最擅长的模型，避免了对单一模型的依赖，提升了整体推理效率。项目处于成长阶段，已有超过 5000 星标，社区活跃，适合需要多模型协同工作的生产环境。
1确认系统环境
安装脚本为 bash 脚本，需在 Linux、macOS 或 WSL 中执行；确认已安装 curl 且网络可访问 vllm-sr.ai。
2执行安装脚本
从官网下载并运行安装脚本，--channel stable 表示安装稳定版通道；脚本会自行完成后续安装动作。
curl -fsSL https://vllm-sr.ai/install.sh | bash -s -- --channel stable3查阅安装指南
README 指向官方 Installation Guide，pip、uv 或智能体驱动的安装方式均在该文档中说明，按需选择。
4体验路由效果
打开官方 Playground 在线体验路由器效果，了解模型选择与组合方式，无需本地部署即可试用。
README 未给出本地启动或健康检查命令，安装完成后请按官方 Installation Guide 确认，并可访问 Playground 验证路由功能。
Q：可以用 pip 或 uv 安装吗？
A：README 说明可参考官方 Installation Guide（https://vllm-sr.ai/docs/installation/），但未在 README 中给出具体 pip/uv 命令。
Q：安装后如何启动服务？
A：README 未提供启动命令、端口或配置文件说明，请查阅 vllm-sr.ai 官方文档获取启动方式。
Q：可以先用在线环境试玩吗？
A：可以，README 提供 Playground 地址 https://app.vllm-sr.ai/playground，可直接在线体验。
Q：Windows 上能安装吗？
A：安装命令为 bash 脚本，README 未说明 Windows 原生支持，建议在 WSL 中执行该命令。
LiteLLM Router、OpenRouter、LangChain Router
semantic-router 是基础设施领域的开源项目，由 vllm-project 开发，2025 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（5,898）位列前 8%，在基础设施分类的 1,132 个项目里位列前 12%。
近 41 天，它的 GitHub 星标从 5,144 增加到 5,898，净增 754。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。Apache-2.0许可证，可免费使用和部署。
它主要面向的使用场景是：多模型A/B测试，动态选择最优模型。同类可对比的替代方案包括 LiteLLM Router、OpenRouter、LangChain Router。
上一篇：lemonade
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···