awesome-ml-serving

一张清单,搞定生产级模型服务选型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 5 👀 关注 1
GitHub ↗
GitHub 星标 ★ 50
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,完全免费,无付费版本。

项目预览

awesome-ml-serving 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队awesome-mlops
定价模式🏷️完全免费
价格说明开源项目,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
技术栈/模型awesome,awesome-list,data-science,dataops,datascience,deep-learning,experiment-management,kubernetes,machine-learning,machine-learning-service,microservice,ml-lifecycle,ml-serving,mlops,model-management,orchestration,serverless
GitHub 星标★ 50
上线时间2022-04-20 00:00:00
代码更新2022-04-20
仓库体积5 KB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

这是一个精选清单,汇集了用于生产环境模型服务的开源和商业平台。它旨在解决机器学习模型部署和上线时,缺乏系统性参考和对比的问题。项目核心能力是整理并分类了多种模型服务工具,涵盖从自建方案到云服务,帮助开发者快速了解生态、评估选型。清单内容可能包括推理服务器、模型编排框架、无服务器平台等,为技术决策提供导航。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 50

核心亮点

  • 聚焦生产环境,直接解决模型上线部署的选型痛点
  • 同时收录开源与商业平台,对比视角全面
  • 以清单形式呈现,信息结构清晰,便于快速浏览

不足之处

  • 项目处于早期,星标少,内容覆盖度和更新频率待观察
  • 文档/社区待观察

适用场景

  • 技术团队评估模型服务基础设施时作为参考
  • 架构师对比自建与云服务方案时快速获取候选列表
  • 开发者入门生产级模型部署时了解生态全景

替代项目

awesome-production-machine-learning、model-serving-engines、MLOps-tools

上一篇:docker-containers

下一篇:domino-research

同类项目推荐

mlops-project 开源

一键跑通ML全流程,从训练到部署不再手忙脚乱

An end-to-end machine learning (mlops) project

★ 53 2026-08-09
llama3.java 开源

纯 Java 跑 Llama 3,不装 Python 也能本地推理

Llama 3+ inference in pure Java

★ 816 2026-08-09
comfyui-api 开源

把 ComfyUI 封装成高并发 API,同步异步都能拿结果

A simple API server to make ComfyUI easy to scale horizontally. Get outputs directly···

★ 459 2026-08-09
rust-mlops-template 开源

用 Rust 搭建高性能 MLOps 基础设施,告别 Python 性能瓶颈

A work in progress to build out solutions in Rust for MLOPs

★ 387 2026-08-09
Windows-Copilot-API 开源

把 Windows Copilot 变成 OpenAI 兼容接口,开箱即调

Reverse engineered Windows Copilot into an OpenAI-compatible API. Access GPT-4 and G···

★ 1265 2026-10-31
DeepInfer 开源

让 DeepSeek 大模型多卡高吞吐跑起来

DeepInfer: High-performance, large-scale inference framework for DeepSeek models

★ 25613 2026-10-21
cicd-templates 开源

用代码一键管理 Databricks 部署,告别手动配置

Manage your Databricks deployments and CI with code.

★ 203 2026-08-09
InfiniTensor 开源

让大模型在多种 GPU 上快速跑起来并方便做实验

InfiniTensor is a high-performance inference engine tailored for GPUs and AI acceler···

★ 588 2026-10-08
mloda 开源

插件化数据访问,让 AI 应用轻松获取可追溯的数据上下文。

mloda.ai - Open Data Access for AI and ML. Plugin-based. Traceable. Framework-agnost···

★ 100 2026-08-09