keda-gpu-scaler

无需 Prometheus,让 K8s 上的 GPU 工作负载按真实使用量自动伸缩。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 36 🐛 待处理 10 👀 关注 2
GitHub ↗
GitHub 星标 ★ 136
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可免费使用和自行部署。

项目预览

keda-gpu-scaler 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队pmady
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可免费使用和自行部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型ai-infrastructure,autoscaling,daemonset,gpu,gpu-autoscaling,gpu-metrics,gpu-monitoring,grpc,inference,keda,keda-external-scaler,keda-scalers,kubernetes,mlops,nvidia,nvml,prometheus,scale-to-zero,triton,vllm
GitHub 星标★ 136
上线时间2026-03-12 00:00:00
代码更新2026-11-04
仓库体积33.8 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数9

项目介绍

keda-gpu-scaler 是一个基于 KEDA 外部 gRPC 扩展器的 GPU 自动扩缩容组件。它通过 DaemonSet 方式在每个节点上运行,直接利用 NVML 库采集 GPU 利用率、显存占用等原生指标,无需部署 Prometheus 等额外监控系统。该工具解决了 Kubernetes 中 GPU 工作负载(如模型推理服务)在流量波动时无法按 GPU 实际使用量弹性伸缩的问题,弥补了 KEDA 内置 scaler 对 GPU 指标支持的缺失。核心能力包括:实时采集 GPU 指标、通过 gRPC 协议与 KEDA 集成、根据自定义阈值触发扩缩容决策,从而帮助用户降低 GPU 资源成本,提升资源利用率。项目处于早期阶段,但设计简洁,部署轻量,适合已有 KEDA 且希望快速实现 GPU 弹性伸缩的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 136

核心亮点

  • 直接通过 NVML 采集 GPU 指标,省去 Prometheus 部署与维护成本
  • 以 DaemonSet 方式部署,每个节点自动采集,架构简单清晰
  • 与 KEDA 原生集成,利用成熟的事件驱动扩缩容机制

不足之处

  • 项目早期,文档和社区支持尚待完善
  • 仅支持 NVML 指标,对 AMD/其他 GPU 厂商兼容性未知

适用场景

  • 模型推理服务(如 LLM 推理)的 GPU 弹性伸缩
  • 多租户 GPU 资源共享场景下的按需扩容
  • 批量训练任务中 GPU 利用率波动的自动调整

替代项目

KEDA Prometheus Scaler、Datadog Cluster Agent Autoscaling、AWS Karpenter GPU 扩缩容

上一篇:qzcli_tool

下一篇:litellm

同类项目推荐

ESP32s3-LLM-Cluster 开源

7块ESP32-S3串成链,跑起0.4B三值量化大模型

7-node ESP32-S3 cluster running a 0.4B LLM via 1.58-bit (BitNet) ternary quantizatio···

★ 259 2026-10-31
meridian 开源

把 Claude Max 订阅用到所有 AI 编程工具里,省心省钱

Use Claude and Antigravity with Pi, OpenCode and other coding clients. Local API bri···

★ 2189 2026-08-09
openai 开源

兼容 OpenAI 调用方式,请求时自动完成链上按次付费

Drop-in OpenAI Typescript client with transparent x402 payment support.

★ 154 2026-10-26
picollm 开源

让大模型在手机和嵌入式设备上流畅跑起来

On-device LLM Inference Powered by X-Bit Quantization

★ 319 2026-08-09
dinotty 开源

让 AI 代理在服务器上拥有持久终端,多设备随时接入

Multi-device terminal server for AI coding agents. Server-side VTE, session persiste···

★ 737 2026-08-09
nano-vectordb 开源

百行代码搞定向量检索,轻松上手随意改

A simple, easy-to-hack Vector Database

★ 210 2026-08-09
mlrun 开源

一键编排ML流水线,从开发到上线全自动

MLRun is an open source MLOps platform for quickly building and managing continuous ···

★ 1703 2026-08-09
helix-db 开源

用对象存储构建图+向量数据库,低成本搞定复杂关联与语义搜索

HelixDB is an OLTP graph database with native vector and full-text search built in R···

★ 6273 2026-08-09
chmonitor 开源

给 ClickHouse 配个 AI 军师,实时监控并自动给出调优建议

Open-source operational advisor for ClickHouse — real-time monitoring plus AI-drive···

★ 303 2026-08-09