SmarterRouter

统一管理本地多模型，自动路由省成本，故障秒切换。

SmarterRouter 是一个面向本地 AI 实验室的智能 LLM 网关和路由工具，专门服务于 Ollama、llama.cpp 和 OpenAI 等后端。它解决的核心问题是：在本地多模型环境中，如何高效分配请求、降低重复计算成本并保障服务可用性。核心能力包括基于语义的缓存（对相似请求直接返回结果，减少模型调用）、模型性能画像（自动记录各模型的响应速度、成功率等指标，为路由决策提供依据）以及自动故障转移（当某个模型或后端不可用时，自动将请求转发到健康的备用模型）。此外，它还支持多后端统一接入，提供类似 API 网关的入口，简化客户端调用。项目处于早期阶段，适合希望整合本地模型资源、优化推理成本并提升响应效率的技术用户。