项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 434
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Docker
- 至少一个上游 API Key
安装与启动步骤
-
1先理清手里有哪些来源
官方 key、中转服务、订阅账号可以混在一个网关后面。
-
2拉镜像起容器
一条 docker run 就能起,配置靠环境变量。
docker run -d --name ccload -p 8080:8080 caidaoli/ccload -
3在面板里加渠道
每个上游填地址与凭据,配好权重与冷却。
-
4把客户端指过来
把 Claude Code 或 Codex 的地址改成网关地址加网关 token。
-
5造一次上游失败
故意填错一个渠道的 key,看是否自动切下一个。
如何确认成功
把主渠道的 key 改错后,客户端请求仍然成功返回,网关面板里能看到这次故障转移记录
注意事项
- 它是自建的 AI API 网关,做路由、故障转移与协议转换,本身不提供模型。
- 订阅账号接入属于灰色地带,账号可能被风控,风险自担。
- 网关是单点,挂了所有客户端都不可用,生产至少起两个实例。
- 所有 key 都集中在网关,网关自身的安全等级要提到最高。
- 项目处于早期阶段,配置项与接口可能变动。
核心亮点
- 智能路由自动分配请求到健康渠道,无需人工干预
- 指数退避冷却机制有效防止对故障渠道的重复请求
- 内置实时监控面板,请求和错误状态一目了然
不足之处
- 文档/社区待观察
- 早期项目,功能完整性和生产环境验证不足
适用场景
- 多模型 API 聚合管理,统一入口
- 高可用场景下自动故障转移,保障服务连续
- 监控多个 AI 服务商渠道的健康状态和用量
替代项目
LiteLLM、OpenRouter、Kong AI Gateway
上一篇:kiji-proxy
下一篇:llmio
同类项目推荐
uccl
开源
让 GPU 通信快如闪电,训练推理不再等数据
UCCL is an efficient communication library for GPUs, covering collectives, P2P (e.g.···
sd-webui-all-in-one
开源
一键安装管理多种AI绘图工具,省去折腾环境
支持安装、下载、启动和管理多种 AI WebUI / 训练工具的一体化项目,提供 Installer、整合···
qwen.cpp
开源
用 C++ 在本地快速跑通 Qwen 模型,无需 Python 环境。
C++ implementation of Qwen-LM
thunderid
开源
为人类和 AI 智能体打造可组合的高性能身份认证与授权栈
ThunderID, an LF Decentralized Trust project, is a high-performance, open-source ide···
rocketplaneIO
开源
让 AI 直接修复 K8s 故障,零插桩、可离线部署
Self-hosted AI SRE for Kubernetes — zero-instrumentation eBPF observability plus a ···
muse2api
开源
把 Muse 变成 OpenAI 接口,现有代码改个地址就能用
把 Muse(muse.ai) 逆向封装为 OpenAI 兼容接口,支持对话、文生图、文生视频/图生视频、多···
feature-store
开源
打通数据与模型,让特征复用不再重复造轮子
Using a feature store to connect the DataOps and MLOps workflows to enable collabora···
LLM-TPU
开源
在算能TPU上跑大模型,边缘部署快人一步
Run generative AI models in sophgo BM1684X/BM1688
container
开源
给 AI 编程助手套上沙箱,放心让它全权限干活。
Persistent Linux workspaces for agentic development.
