nexus-llm-router

一个接口接入所有大模型,自动选最优,省钱又省心

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 35 🐛 待处理 9 👀 关注 25
GitHub ↗
GitHub 星标 ★ 122
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,全部功能免费

项目预览

nexus-llm-router 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队Francis1998
定价模式🏷️完全免费
价格说明开源项目,本地部署,全部功能免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型ai-gateway,ai-infrastructure,anthropic,anthropic-compatible,anthropic-messages-api,claude,cost-optimization,fastapi,gemini,kimi,llm-gateway,llm-proxy,llm-router,llmops,model-routing,multi-llm,openai,openai-compatible,openai-responses-api,python
GitHub 星标★ 122
上线时间2026-06-21 00:00:00
代码更新2026-11-07
仓库体积9.7 MB
本站数据更新2026-11-10
维护状态活跃
收录时间2026-08-09
浏览次数9

项目介绍

nexus-llm-router 是一个智能的多 LLM 路由网关,提供与 OpenAI 兼容的 API,可无缝替换现有调用。它解决的核心问题是:在多个大模型提供商(如 OpenAI、Anthropic、Google 等)之间智能选择最优模型,以平衡成本、延迟和响应质量。项目基于任务感知的路由策略,能根据请求类型(如代码生成、文本摘要、对话)自动匹配最合适的模型,同时内置成本优化机制,在保证效果的前提下降低 API 开销。此外,它强调生产环境的安全性,提供超时、重试、熔断、限流等控制,确保服务稳定。作为基础设施组件,它部署简单,支持 Docker 和 Python 包,适合需要管理多家模型 API 的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 122

核心亮点

  • OpenAI 兼容 API,现有代码零改造即可接入
  • 任务感知路由,按请求类型智能匹配模型
  • 内置成本优化,自动选择性价比高的模型

不足之处

  • 项目早期,文档和社区生态尚待完善
  • 路由策略的准确性依赖历史数据,冷启动效果待验证

适用场景

  • 企业统一管理多家 LLM API,降低成本和运维复杂度
  • 需要根据任务类型(如代码、聊天)自动选择最优模型的场景
  • 对 API 稳定性要求高的生产环境,需熔断和重试机制

替代项目

LiteLLM、OpenRouter、Portkey Gateway

上一篇:homelab-monitor

下一篇:qzcli_tool

同类项目推荐

llama-swap 开源

一个接口自动切换本地大模型,显存不够也能跑多模型

Reliable model swapping for any local AI server. Chosen by thousands of users. Batt···

★ 6218 2026-10-14
scalax 开源

让 JAX 程序轻松跑满多卡,分布式训练不再复杂。

A simple library for scaling up JAX programs

★ 149 2026-08-09
yek 开源

把整个代码库一键打包成 LLM 能懂的上下文

A fast Rust based tool to serialize text-based files in a repository or directory fo···

★ 2475 2026-08-09
llmfit 开源

一条命令,测出你的硬件能跑哪些 AI 模型

Hundreds of models & providers. One command to find what runs on your hardware.

★ 38822 2026-08-09
seatunnel 开源

一条管道搞定海量数据同步,多源异构实时入仓

SeaTunnel is a multimodal, high-performance, distributed, massive data integration t···

★ 9795 2026-08-09
boxlite 开源

给 AI 智能体一个微型安全沙箱,轻量到能装进笔记本,弹性到能撑起云。

The micro-VM for AI agents — light enough to embed on your laptop, elastic enough t···

★ 2630 2026-08-09
1Cat-vLLM 开源

让 V100 老卡也能跑现代大模型推理

V100 / SM70-focused vLLM engineering fork for modern LLM inference.

★ 1483 2026-09-16
5.0-Ai-Engineering-Toolkit 开源

一套 Python 工具,把 AI 训练到部署的脏活串起来

Engineering toolkit for building scalable AI systems, including model training pipel···

★ 475 2026-09-19
WindsurfAPI 开源

把 Windsurf 订阅的 100+ 模型变成通用 API,无缝接入任何 AI 工具

Turn Windsurf / Devin Desktop's 100+ AI models (Claude, GPT, Gemini, DeepSeek, Kimi,···

★ 3126 2026-08-09