项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 85513
使用教程
环境要求
- Node.js 环境(npm install -g omniroute 需要 npm)
- 本地可访问 20128 端口(仪表盘 http://localhost:20128,API http://localhost:20128/v1)
- 若用 Docker:Docker 环境,支持 AMD64 / ARM64 多架构镜像
- 若跑编程智能体(Claude Code、Codex 等):需更大内存,容器建议 ≥10g
安装与启动步骤
-
1全局安装
用 npm 全局安装 OmniRoute,一条命令支持任意操作系统。出现 ERESOLVE 或 peer-dep 警告属正常,可忽略。
npm install -g omniroute -
2启动服务
执行 omniroute 启动本地服务,随后仪表盘在 20128 端口、API 在 /v1 路径下可用。
omniroute -
3零配置试用
全新安装无需任何密钥,模型填 auto 即可自动路由并发起对话,验证服务已通。
curl http://localhost:20128/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"auto","messages":[{"role":"user","content":"Hello!"}]}' -
4连接免费服务商
在仪表盘 Providers 页连接 Kiro AI(免费 Claude,每月约 50 额度)或无需授权的 OpenCode Free。
-
5接入编程工具
把工具的 Base URL 指向本地 /v1,API Key 从 Dashboard → Endpoints 复制,模型填 auto。
-
6验证运行状态
请求模型列表接口,能看到已连接模型即接入成功,之后即可交给自动路由与故障转移。
curl http://localhost:20128/v1/models -H "Authorization: Bearer YOUR_KEY" -
7可选:Docker 部署
不想装 Node 可改用 Docker,镜像自带数据卷与自动重启;跑编程智能体时需同时加大堆内存与容器内存。
docker run -d --name omniroute --restart unless-stopped --stop-timeout 40 \ -e OMNIROUTE_MEMORY_MB=8192 --memory=10g \ -p 127.0.0.1:20128:20128 -v omniroute-data:/app/data diegosouzapw/omniroute:latest -
8可选:远程模式
服务跑在 VPS 上时,用同一 CLI 登录一次获取受限令牌,后续命令都作用于远端服务器。
omniroute connect 192.168.0.15 omniroute models list omniroute contexts use default
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
Base URL | 是 | 客户端接入的 API 根地址 | http://localhost:20128/v1 |
API Key | 是 | 从 Dashboard → Endpoints 复制的密钥,用于请求鉴权 | YOUR_KEY |
Model | 是 | 填 auto 即零配置智能路由,也可指定具体服务商/模型 | auto |
OMNIROUTE_MEMORY_MB | 否 | Docker 镜像内的 V8 堆上限,镜像默认 1024 | 8192 |
--memory | 否 | Docker 容器内存上限,需高于堆内存 | 10g |
如何确认成功
打开 http://localhost:20128 能看到仪表盘,或执行 curl http://localhost:20128/v1/models 带上 Bearer 密钥后返回已连接模型列表,即为启动成功。
常见问题
Q:npm 安装时报 ERESOLVE 或 peer-dep 警告怎么办?
A:README 明确说明这类警告是无害的,可以直接忽略,不影响安装与运行。
Q:客户端无法发送 Authorization 自定义请求头怎么办?
A:可用带令牌的兼容别名,如 OpenAI 目录 http://localhost:20128/vscode/YOUR_KEY/ 、对话 /chat/completions、Ollama /api/chat 等;能发头时仍推荐用 Header 鉴权。
Q:运行 Claude Code、Codex 等编程智能体时进程崩溃?
A:镜像默认 OMNIROUTE_MEMORY_MB=1024 只够仪表盘和轻量聊天。跑一个编程智能体应设为 8192、容器 ≥10g;两个并发长 /v1/responses 需 10240–12288、容器 ≥12–16g。
Q:Docker 的 :latest 会跟随 git main 分支吗?
A::latest 跟随最高已发布稳定 SemVer,不跟踪 git main;做 GitOps 请固定 :X.Y.Z。:next 为预发布渠道,仅用于测试,不支持生产。
Q:仪表盘上的免费额度数字会变吗?
A:会。数据每两周按实时目录重新审计,服务商结束免费层数字就下降,新增则上升,均为目录实际计算结果。
注意事项
- README 中的免费额度(约 1.47B tokens/月)按 16 个有公开正预算的池加五个 Groq 单模型上限计算,并做了池去重;需地区身份验证的(如 ModelScope)单独展示、不计入总数。
- Docker 部署时镜像原生缓冲在 V8 堆之外,容器内存必须给得比 OMNIROUTE_MEMORY_MB 更大。
- 远程模式下令牌分为 read / write / admin 三种作用域,会拉起进程的路由仅限本机回环访问。
- 其他安装方式:从源码 npm install && npm run dev;Termux(Android)pkg install nodejs && npx -y omniroute;macOS 菜单栏 brew install --cask zoispag/tap/
核心亮点
- 统一 API 接入 500+ 模型,覆盖主流厂商,且兼容 Claude Code、Cursor 等工具,迁移成本极低
- 配额感知自动故障转移,当模型不可用或限流时自动切换,保证服务连续性
- RTK+Caveman 压缩技术可节省 15-95% token,显著降低使用成本
不足之处
- 项目规模庞大,配置项多,新手上手有一定学习曲线
- 免费服务商的稳定性和速度可能不如付费服务,需依赖自动切换机制
适用场景
- 开发者需要同时使用多个 AI 模型进行对比或任务分流,但不想管理多个 API Key
- 在 AI 编程工具中希望自动选择最便宜或最快的模型,同时保持高可用性
- 企业或团队希望统一管理 AI 模型调用,集中监控成本与用量
替代项目
LiteLLM、OpenRouter、one-api
同类项目推荐
oracle-ai-developer-hub
开源
用 Oracle 数据库和云服务,快速上手构建企业级 AI 应用
Technical resources for AI developers to build applications, agents, and systems usi···
warden
开源
给 AI 代理装一道企业级安全闸门,访问可控可审计
The secure gateway connecting AI agents to enterprise systems.
LLM-Tools
开源
输入模型参数,秒算 GPU 显存和硬件需求
Open-source calculator for LLM system requirements.
ollama
开源
一条命令本地跑起大模型,免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
MLOps.NET
开源
让 ML.NET 模型也能像软件一样版本化、可追踪、易部署
A machine learning model operations and management tool for ML.NET
self-hosted-ai-stack
开源
一行命令部署本地 AI 全家桶,数据不出门,隐私又安全。
Deploy a self-hosted AI stack with Docker Compose: local LLMs, chat, document parsin···
PolyStrata
开源
一键在个人电脑跑多种大模型,本地开放兼容 API
Run large AI models on your own PC: Qwen3.8-Flash-Next on Strata's engine, and GLM 5···
chatgpt2api
开源
逆向ChatGPT官网,白嫖文本和图像生成,兼容OpenAI接口,批量管理号池。
ChatGPT官网接口纯协议的逆向实现,支持注册机维持号池额度,支持GPT-Image-2模型、文本模···
runanywhere-sdks
开源
本地跑AI,生产级工具包,低延迟高隐私
Production ready toolkit to run AI locally
