项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 179
核心亮点
- 原生支持Kubernetes，便于集群内部署和扩展
- 具备边缘计算能力，可监控边缘侧模型
- 覆盖数据漂移和性能监控，提供端到端监控方案
不足之处
- 项目未积极维护，更新和社区支持有限
- 文档和社区待观察
适用场景
- 在K8s集群中部署多个模型，需要统一监控平台
- 边缘设备上的模型需要轻量级监控方案
- 需要检测生产环境中的数据漂移和模型退化
替代项目
Seldon Core、Kubeflow、Prometheus + Grafana
同类项目推荐
langtrace
开源
一键接入，实时追踪 LLM 应用全链路，调试评估不再抓瞎。
Langtrace is an open-source, Open Telemetry based end-to-end observability tool fo···
ollama-intel-arc
开源
让 Intel Arc 显卡跑起 Ollama 和 Stable Diffusion，一键部署 AI 全栈。
Make use of Intel Arc Series GPU to Run Ollama, StableDiffusion, Whisper and Open We···
stable-fast
开源
让 Stable Diffusion 在 NVIDIA GPU 上跑出数倍速度，无需改代码。
https://wavespeed.ai/ Best inference performance optimization framework for HuggingF···
AIHelms
开源
统一纳管 AI 资源，精准控成本、强治理、提效能
企业级 AI 资源纳管平台，提供统一 AI网关、Token调度能力，纳管 OpenAI、Azure、Claude、···
PowerInfer
开源
让普通电脑也能飞快跑大模型，省显存不减速
High-speed Large Language Model Serving for Local Deployment
llamafarm
开源
几分钟部署任意 AI 模型到本地或云端
Deploy any AI model, agent, database, RAG, and pipeline locally or remotely in minut···
nobodywho
开源
让任何设备都能流畅跑大模型，边缘 AI 推理引擎
NobodyWho is an inference engine that lets you run LLMs locally and efficiently on a···
metaflow-tools
开源
一键部署 Metaflow 生产环境，省心运维工作流平台
Tools and utilities for operating Metaflow in production
langfuse-js
开源
给 LLM 应用装上监控，追踪每次调用与成本
Langfuse JS/TS SDK