OmniRoute

一个接口接入 290+ 模型,自动省钱还能无缝切换

OmniRoute 是一个开源的 AI 网关项目,旨在解决开发者在使用多种 AI 模型时面临的接口碎片化、成本高昂和切换繁琐等问题。它提供一个统一的 API 端点,聚合了超过 290 家服务商(其中 90 多家免费)的 500 多个模型,包括 Kimi、Claude、GPT、Gemini、GLM、DeepSeek 等主流模型。核心能力包括:智能自动故障转移(根据配额感知)、RTK 和 Caveman 压缩技术可节省 15-95% 的 token 消耗、支持 MCP 和 A2A 协议、提供桌面端和 PWA 应用。它无缝兼容 Claude Code、Codex、Cursor 等主流 AI 编程工具,让开发者无需修改代码即可切换或组合模型。项目由 500 多名贡献者共同维护,采用 MIT 许可证,完全免费。

开源 freemium 智能体
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 69233
维护状态 活跃
是否开源 是
定价模式 freemium

项目数据

分类智能体
开发团队diegosouzapw
所属国家
定价模式freemium
价格说明开源免费,提供在线网关服务,支持290+提供商(90+免费),按需使用,无明确付费层级。
访问状态
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型a2a,ai-agents,ai-gateway,anthropic,claude,claude-code,cline,codex,copilot,cursor,deepseek,free-ai,gemini,kimi,llm-gateway,mcp,openai,openai-proxy,qwen,token-saver
GitHub 星标★ 69233
30天Star增速
HF 下载量
上线时间2026-02-13 00:00:00
最近更新2026-09-22 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数7

使用教程

难度:入门 约 10 分钟 部署方式:本地安装 8 步

环境要求

  • Node.js 环境(npm install -g omniroute 需要 npm)
  • 本地可访问 20128 端口(仪表盘 http://localhost:20128,API http://localhost:20128/v1)
  • 若用 Docker:Docker 环境,支持 AMD64 / ARM64 多架构镜像
  • 若跑编程智能体(Claude Code、Codex 等):需更大内存,容器建议 ≥10g

安装与启动步骤

  1. 1全局安装

    用 npm 全局安装 OmniRoute,一条命令支持任意操作系统。出现 ERESOLVE 或 peer-dep 警告属正常,可忽略。

    npm install -g omniroute
  2. 2启动服务

    执行 omniroute 启动本地服务,随后仪表盘在 20128 端口、API 在 /v1 路径下可用。

    omniroute
  3. 3零配置试用

    全新安装无需任何密钥,模型填 auto 即可自动路由并发起对话,验证服务已通。

    curl http://localhost:20128/v1/chat/completions 
      -H "Content-Type: application/json" 
      -d '{"model":"auto","messages":[{"role":"user","content":"Hello!"}]}'
  4. 4连接免费服务商

    在仪表盘 Providers 页连接 Kiro AI(免费 Claude,每月约 50 额度)或无需授权的 OpenCode Free。

  5. 5接入编程工具

    把工具的 Base URL 指向本地 /v1,API Key 从 Dashboard → Endpoints 复制,模型填 auto。

  6. 6验证运行状态

    请求模型列表接口,能看到已连接模型即接入成功,之后即可交给自动路由与故障转移。

    curl http://localhost:20128/v1/models -H "Authorization: Bearer YOUR_KEY"
  7. 7可选:Docker 部署

    不想装 Node 可改用 Docker,镜像自带数据卷与自动重启;跑编程智能体时需同时加大堆内存与容器内存。

    docker run -d --name omniroute --restart unless-stopped --stop-timeout 40 
      -e OMNIROUTE_MEMORY_MB=8192 --memory=10g 
      -p 127.0.0.1:20128:20128 -v omniroute-data:/app/data diegosouzapw/omniroute:latest
  8. 8可选:远程模式

    服务跑在 VPS 上时,用同一 CLI 登录一次获取受限令牌,后续命令都作用于远端服务器。

    omniroute connect 192.168.0.15
    omniroute models list
    omniroute contexts use default

关键配置

配置项必填说明示例
Base URL是客户端接入的 API 根地址http://localhost:20128/v1
API Key是从 Dashboard → Endpoints 复制的密钥,用于请求鉴权YOUR_KEY
Model是填 auto 即零配置智能路由,也可指定具体服务商/模型auto
OMNIROUTE_MEMORY_MB否Docker 镜像内的 V8 堆上限,镜像默认 10248192
--memory否Docker 容器内存上限,需高于堆内存10g

如何确认成功

打开 http://localhost:20128 能看到仪表盘,或执行 curl http://localhost:20128/v1/models 带上 Bearer 密钥后返回已连接模型列表,即为启动成功。

常见问题

Q:npm 安装时报 ERESOLVE 或 peer-dep 警告怎么办?

A:README 明确说明这类警告是无害的,可以直接忽略,不影响安装与运行。

Q:客户端无法发送 Authorization 自定义请求头怎么办?

A:可用带令牌的兼容别名,如 OpenAI 目录 http://localhost:20128/vscode/YOUR_KEY/ 、对话 /chat/completions、Ollama /api/chat 等;能发头时仍推荐用 Header 鉴权。

Q:运行 Claude Code、Codex 等编程智能体时进程崩溃?

A:镜像默认 OMNIROUTE_MEMORY_MB=1024 只够仪表盘和轻量聊天。跑一个编程智能体应设为 8192、容器 ≥10g;两个并发长 /v1/responses 需 10240–12288、容器 ≥12–16g。

Q:Docker 的 :latest 会跟随 git main 分支吗?

A::latest 跟随最高已发布稳定 SemVer,不跟踪 git main;做 GitOps 请固定 :X.Y.Z。:next 为预发布渠道,仅用于测试,不支持生产。

Q:仪表盘上的免费额度数字会变吗?

A:会。数据每两周按实时目录重新审计,服务商结束免费层数字就下降,新增则上升,均为目录实际计算结果。

注意事项

  • README 中的免费额度(约 1.47B tokens/月)按 16 个有公开正预算的池加五个 Groq 单模型上限计算,并做了池去重;需地区身份验证的(如 ModelScope)单独展示、不计入总数。
  • Docker 部署时镜像原生缓冲在 V8 堆之外,容器内存必须给得比 OMNIROUTE_MEMORY_MB 更大。
  • 远程模式下令牌分为 read / write / admin 三种作用域,会拉起进程的路由仅限本机回环访问。
  • 其他安装方式:从源码 npm install && npm run dev;Termux(Android)pkg install nodejs && npx -y omniroute;macOS 菜单栏 brew install --cask zoispag/tap/

核心亮点

  • 统一 API 接入 500+ 模型,覆盖主流厂商,且兼容 Claude Code、Cursor 等工具,迁移成本极低
  • 配额感知自动故障转移,当模型不可用或限流时自动切换,保证服务连续性
  • RTK+Caveman 压缩技术可节省 15-95% token,显著降低使用成本

不足之处

  • 项目规模庞大,配置项多,新手上手有一定学习曲线
  • 免费服务商的稳定性和速度可能不如付费服务,需依赖自动切换机制

适用场景

  • 开发者需要同时使用多个 AI 模型进行对比或任务分流,但不想管理多个 API Key
  • 在 AI 编程工具中希望自动选择最便宜或最快的模型,同时保持高可用性
  • 企业或团队希望统一管理 AI 模型调用,集中监控成本与用量

替代项目

LiteLLM、OpenRouter、one-api

项目介绍

OmniRoute 是基础设施领域的开源项目,由 diegosouzapw 开发,是 2026 年新上线的项目。

在全站 13,090 个收录项目中,它的 GitHub 星标数(69,233)位列前 1%,在基础设施分类的 1,132 个项目里位列前 1%。

近 41 天,它的 GitHub 星标从 46,584 增加到 69,233,净增 22,649。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-22。开源免费,提供在线网关服务,支持290+提供商(90+免费),按需使用,无明确付费层级。从国内网络环境看,可直接访问。

它主要面向的使用场景是:开发者需要同时使用多个AI模型进行对比或任务分流,但不想管理多个APIKey。同类可对比的替代方案包括 LiteLLM、OpenRouter、one-api。

上一篇:daytona

下一篇:openvino

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09