ML-Model-CI

一键将训练好的模型自动优化并部署为高性能推理服务

MLModelCI 是一个面向机器学习服务的 MLOps 平台，旨在打通模型训练与线上部署之间的断层。它提供模型管理、格式转换、性能剖析和自动部署等一站式能力，支持将训练好的模型自动优化并部署为高性能的推理服务。核心功能包括：模型注册与版本管理，支持多种主流框架（如 TensorFlow、PyTorch）的模型导入；自动模型转换，将模型编译为 TensorRT、ONNX 等优化格式以提升推理效率；性能剖析，自动评估模型在不同硬件和批处理大小下的延迟与吞吐量；以及一键部署，将模型封装为 RESTful API 或 gRPC 服务，支持 Kubernetes 集群扩展。该项目由微软开源，适用于需要快速将实验模型推向生产的团队，减少手工配置和优化的工作量。