项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-12 · 当前星标 ★ 359
技术标签
核心亮点
- 提供统一请求入口并按任务特征选择模型，业务代码无需硬编码具体模型
- 路由层与模型解耦，新增或替换模型时改动集中在路由配置而非调用方
- 以 Notebook 形式给出路由策略的实验代码，便于理解思路和快速验证
不足之处
- 早期项目，路由策略与接口仍在演进，生产环境稳定性需自行验证
- 以 Jupyter Notebook 为主要载体，工程化封装和部署形态相对薄弱
适用场景
- 多模型混用的应用按任务复杂度自动分流，简单任务走低成本模型
- 团队需要在质量与调用成本之间做动态平衡的 LLM 服务
- 作为自建模型调度层的参考实现，快速验证路由策略效果
替代项目
RouteLLM、LiteLLM、OpenRouter
同类项目推荐
MemTrace
开源
给大模型记忆装个行车记录仪，出错秒级定位归因
MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems
OpenContracts
开源
让智能体读懂文档，一键提取结构化数据。
The open document intelligence platform for builders and hackers - DMS for the agent···
dkg-engine
开源
把可信知识搬上区块链，让数据共享可验证、可追溯
OriginTrail Decentralized Knowledge Graph network node
agentwatch
开源
给 AI 智能体装上监控摄像头，一眼看透每次交互
A powerful AI observability framework that provides comprehensive insights into agen···
ray_vllm_inference
开源
用 Ray 调度 vLLM，轻松搞定高并发大模型服务
A simple service that integrates vLLM with Ray Serve for fast and scalable LLM servi···
llm7.io
开源
一个网关接入所有主流大模型，告别多套 SDK。
LLM7.io offers a single API gateway that connects you to a wide array of leading AI ···
MagiCompiler
开源
插上就快，视频生成模型推理训练免费提速
A plug-and-play compiler that delivers free-lunch optimizations for both inference a···
vLLM-Hook
开源
给 vLLM 装上状态探针，编程控制模型内部，实现监控与干预。
Repo for vLLM Hook, an vLLM plug-in for programming internal states of models deploy···
comfyui-mesh
开源
把大模型拆到两张显卡上跑，显存不够也能玩 FLUX.2
Split FLUX.2 and LTX 2.3 across two GPUs (LAN or same-machine) — NVENC compresses a···