gpu-telemetry

一个代理，让每块 GPU 的消耗都精确到 Pod 或作业

gpu-telemetry 是一个面向 GPU 可观测性的开源项目，核心解决 GPU 资源在 Kubernetes 或 Slurm 集群中“被谁使用”的问题。它通过在每个节点部署一个 OTLP 代理，将 NVIDIA、AMD、Intel Gaudi 等硬件的指标（如利用率、显存、温度等）与正在运行的 K8s Pod 或 Slurm 作业关联起来，实现工作负载级别的 GPU 监控。项目采用 Python 编写，基于 OpenTelemetry 协议输出指标，可无缝接入 Prometheus、Grafana 等主流监控系统。其核心能力包括：自动发现 GPU 设备、采集硬件遥测数据、通过标签（如 pod 名称、作业 ID）进行归属、支持多厂商 GPU。对于需要精细化管理 GPU 资源、优化利用率或进行成本分摊的团队，该项目提供了轻量级、标准化的解决方案，避免了传统监控工具无法关联工作负载的痛点。