ccLoad

自动切换 AI 渠道,告别手动运维,提升调用稳定性

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 77 🐛 待处理 3 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 434
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可自行部署使用,无收费版本。

项目预览

ccLoad 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队caidaoli
官网地址https://ccload.xyz
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可自行部署使用,无收费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Go
技术栈/模型ai,ai-gateway,anthropic,api-proxy,claude-api,claude-code,codex,codex-cli,cost-control,failover,gemini,golang,llm-proxy,load-balancer,monitoring,openai,openai-api,protocol-transform,reverse-proxy,self-hosted
GitHub 星标★ 434
上线时间2025-09-08 00:00:00
代码更新2026-11-08
仓库体积22.1 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

ccLoad 是一个用 Go 编写的 AI API 网关,主要解决多模型 API 渠道管理中的手动切换问题。它提供智能路由、自动故障转移、指数冷却、多 URL 调度、实时请求监控和软错误检测等核心能力。通过自动检测渠道健康状态并动态分配请求,避免因单点故障导致的服务中断,同时利用冷却机制防止对不稳定渠道的频繁重试。其监控面板可实时查看请求流量和错误率,帮助运维人员快速定位问题。项目处于早期阶段,但功能设计针对性强,适合需要管理多个 AI 服务商密钥和端点的团队,减少人工干预,提升 API 调用的稳定性和可用性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 434

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:容器部署 5 步

环境要求

  • Docker
  • 至少一个上游 API Key

安装与启动步骤

  1. 1先理清手里有哪些来源

    官方 key、中转服务、订阅账号可以混在一个网关后面。

  2. 2拉镜像起容器

    一条 docker run 就能起,配置靠环境变量。

    docker run -d --name ccload -p 8080:8080 caidaoli/ccload
  3. 3在面板里加渠道

    每个上游填地址与凭据,配好权重与冷却。

  4. 4把客户端指过来

    把 Claude Code 或 Codex 的地址改成网关地址加网关 token。

  5. 5造一次上游失败

    故意填错一个渠道的 key,看是否自动切下一个。

如何确认成功

把主渠道的 key 改错后,客户端请求仍然成功返回,网关面板里能看到这次故障转移记录

注意事项

  • 它是自建的 AI API 网关,做路由、故障转移与协议转换,本身不提供模型。
  • 订阅账号接入属于灰色地带,账号可能被风控,风险自担。
  • 网关是单点,挂了所有客户端都不可用,生产至少起两个实例。
  • 所有 key 都集中在网关,网关自身的安全等级要提到最高。
  • 项目处于早期阶段,配置项与接口可能变动。

核心亮点

  • 智能路由自动分配请求到健康渠道,无需人工干预
  • 指数退避冷却机制有效防止对故障渠道的重复请求
  • 内置实时监控面板,请求和错误状态一目了然

不足之处

  • 文档/社区待观察
  • 早期项目,功能完整性和生产环境验证不足

适用场景

  • 多模型 API 聚合管理,统一入口
  • 高可用场景下自动故障转移,保障服务连续
  • 监控多个 AI 服务商渠道的健康状态和用量

替代项目

LiteLLM、OpenRouter、Kong AI Gateway

上一篇:kiji-proxy

下一篇:llmio

同类项目推荐

uccl 开源

让 GPU 通信快如闪电,训练推理不再等数据

UCCL is an efficient communication library for GPUs, covering collectives, P2P (e.g.···

★ 1576 2026-08-09
sd-webui-all-in-one 开源

一键安装管理多种AI绘图工具,省去折腾环境

支持安装、下载、启动和管理多种 AI WebUI / 训练工具的一体化项目,提供 Installer、整合···

★ 268 2026-08-09
qwen.cpp 开源

用 C++ 在本地快速跑通 Qwen 模型,无需 Python 环境。

C++ implementation of Qwen-LM

★ 625 2026-08-09
thunderid 开源

为人类和 AI 智能体打造可组合的高性能身份认证与授权栈

ThunderID, an LF Decentralized Trust project, is a high-performance, open-source ide···

★ 607 2026-08-09
rocketplaneIO 开源

让 AI 直接修复 K8s 故障,零插桩、可离线部署

Self-hosted AI SRE for Kubernetes — zero-instrumentation eBPF observability plus a ···

★ 113 2026-08-09
muse2api 开源

把 Muse 变成 OpenAI 接口,现有代码改个地址就能用

把 Muse(muse.ai) 逆向封装为 OpenAI 兼容接口,支持对话、文生图、文生视频/图生视频、多···

★ 1094 2026-09-29
feature-store 开源

打通数据与模型,让特征复用不再重复造轮子

Using a feature store to connect the DataOps and MLOps workflows to enable collabora···

★ 62 2026-08-09
LLM-TPU 开源

在算能TPU上跑大模型,边缘部署快人一步

Run generative AI models in sophgo BM1684X/BM1688

★ 321 2026-08-09
container 开源

给 AI 编程助手套上沙箱,放心让它全权限干活。

Persistent Linux workspaces for agentic development.

★ 387 2026-08-09