项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 170
核心亮点
- 原生集成 ClearML 实验管理，模型到服务链路无缝衔接
- 支持多框架模型（ONNX/TF/PyTorch），无需重写推理代码
- 内置 Kubernetes 部署和自动扩缩容，适合生产级弹性服务
不足之处
- 依赖 ClearML 平台，独立使用需额外搭建后端
- 文档/社区待观察，早期项目示例和最佳实践较少
适用场景
- 团队已用 ClearML 做实验管理，需快速将模型上线为 API 服务
- 需要同时管理多个模型版本并动态路由到不同推理服务
- 在 Kubernetes 集群中部署可弹性伸缩的模型推理服务
替代项目
Seldon Core、KServe、BentoML
上一篇：seldon-core
下一篇：mlop
同类项目推荐
optimum-intel
开源
让 Hugging Face 模型在 Intel 芯片上跑得更快，几行代码实现加速。
Optimum Intel: Accelerate inference with Intel optimization tools
flashinfer
开源
免写 CUDA，给 LLM 推理服务直接加速的算子库
FlashInfer: Kernel Library for LLM Serving
llm-metadata
开源
统一查询 LLM 元数据，告别硬编码模型信息
A lightweight interface for accessing and integrating LLM metadata, enabling applica···
dama
开源
一键容器化部署，快速跑通机器学习自动化流程
a simplified machine learning container platform that helps teams get started with a···
feature-store
开源
打通数据与模型，让特征复用不再重复造轮子
Using a feature store to connect the DataOps and MLOps workflows to enable collabora···
vllm-ascend
开源
让 vLLM 在昇腾 NPU 上跑起来，无缝用上大模型推理
Community maintained hardware plugin for vLLM on Huawei Ascend
AIStudioToAPI
开源
一个服务把 AI Studio 变成三种通用大模型 API
A wrapper that exposes Google AI Studio Build as OpenAI, Gemini, and Anthropic compa···
mobilecli
开源
一条命令搞定 iOS 和 Android 设备管理，告别多工具切换
Universal command-line tool for managing iOS and Android devices, simulators, emulat···
TurboLLM
开源
一条命令把 Claude Code 接到自己显卡上跑
Run any local LLM engine, auto-tuned to your GPU — polished web UI + OpenAI/Anthrop···