项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 661
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10+ 或 Docker
- 多个模型服务
安装与启动步骤
-
1安装
按成本路由模型的工具,pip 装。
pip install nadirclaw -
2或用 compose
需要本地 ollama 时用 compose 一起起。
docker compose up -
3拉一个便宜模型
本地模型作为兜底。
docker compose exec ollama ollama pull llama3.1:8b -
4配路由策略
按任务难度分流,先记录不拦截观察一段时间。
如何确认成功
简单请求走便宜模型、复杂请求走强模型
注意事项
- 路由判断错了会影响质量,先只记录。
- 多后端意味着密钥管理成本上升。
核心亮点
- OpenAI 兼容代理,Claude Code、Cursor 等客户端改个 base_url 就能用,零代码接入
- 按提示复杂度自动路由到便宜/本地或旗舰模型,无需手动切换,节省 40%-70% 成本
- 支持自托管,请求不经过第三方,兼顾成本控制与数据隐私
不足之处
- 项目处于早期,路由策略的准确率和边界情况处理仍需实际验证
- 文档与社区生态尚在建设,长期维护和模型适配更新待观察
适用场景
- 个人开发者用 Claude Code 写代码,日常小任务走本地模型省钱
- 小团队统一接入多个 LLM 客户端,集中控制 API 预算
- 对数据敏感的场景自托管代理,避免请求经过第三方中转
替代项目
LiteLLM、OpenRouter
上一篇:ai-dial-core
下一篇:rkllama
同类项目推荐
ai-infra-landscape
开源
一张图看懂生成式AI基础设施全景,快速定位技术选型
This is a landscape of the infrastructure that powers the generative AI ecosystem
agent-infer
开源
基于 vLLM 的智能体推理后端,多轮工具调用更省心
vLLM based inference framework for agentic workload.
server
开源
MySQL 的社区增强版,开箱即用更稳更强
MariaDB server is a community developed fork of MySQL server. Started by core member···
airllm
开源
4GB 显卡跑 70B 大模型,显存不够也能玩转
AirLLM 2.8T LLM inference with single 4GB GPU
OmniRoute
开源
一个接口接入 290+ 模型,自动省钱还能无缝切换
Never stop coding. Free MIT AI gateway: one endpoint, 375 providers (150+ free), 1,4···
backburner
开源
插上 iPhone,Mac 本地跑 27B 大模型
Your iPhone helps your Mac run a 27B model: faster prompt reading and more context o···
NanoLLM
开源
本地跑大模型,量化多模态一条龙
Optimized local inference for LLMs with HuggingFace-like APIs for quantization, visi···
ChatGPTReversed
开源
免费逆向 ChatGPT 网页版,一键转成标准 API 调用
Free ChatGPT API reversed and simplified
lupine
开源
让无GPU的电脑用上远程显卡,跑AI应用像本地一样
LUPINE is a GPU over IP bridge allowing GPUs on remote machines to be attached to CP···
