SmarterRouter
统一管理本地多模型，自动路由省成本，故障秒切换。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 158
技术标签
核心亮点
- 语义缓存能显著减少重复请求的模型调用，节省本地计算资源
- 自动故障转移机制，提升多模型服务的稳定性与可用性
- 支持 Ollama、llama.cpp 和 OpenAI 多后端，统一网关入口
不足之处
- 早期项目，文档和社区生态尚待完善
- 语义缓存可能引入额外延迟，需权衡命中率与开销
适用场景
- 本地 AI 实验室集成多个模型，需要统一 API 入口
- 对推理成本敏感，希望利用缓存降低重复计算
- 多模型服务需要高可用，自动切换故障模型
替代项目
LiteLLM、OpenRouter、Kong AI Gateway
上一篇：grok2api-egress-enhancements
下一篇：tiygate
同类项目推荐
llm-sandbox
开源
给 LLM 一个安全的代码沙箱，跑 AI 生成的代码不翻车
Lightweight and portable LLM sandbox runtime (code interpreter) Python library.
comfy-kitchen
开源
给扩散推理换装多后端快算子
Fast kernel library for Diffusion inference with multiple compute backends.
semantic-cache
开源
让缓存懂语义，相似查询秒命中，降低后端压力
A fuzzy key value store based on semantic similarity rather lexical equality.
Friday
开源
给 AI 代理装上企业级控制中枢，安全编排、可控运行
Private control plane for AI agents
gemma.cpp
开源
纯 C++ 本地跑 Gemma，无需 Python 依赖
lightweight, standalone C++ inference engine for Google's Gemma models.
Nubase
开源
把 AI 写的代码变成能跑的真应用，一站式后端服务
Turn AI-written code into real apps. Nubase is an open-source, AI-native backend pla···
openclaw-dashboard
开源
一条命令起面板，看清每个 AI 智能体花了多少钱
A beautiful, zero-dependency command center for OpenClaw AI agents
GUNDAM
开源
用语言模型自动给数据排优先级，让系统先处理最重要的。
GUNDAM is a data management system that prioritizes data using language models.
Free-GPT4-WEB-API
开源
自建免费AI网关，一次接入GPT、Gemini、Claude等模型，无限调用。
Not just GPT4! Easy to use, Self-Hosted, Unlimited and Free WEB API of the latest A.···