mosec

动态批处理+流水线，榨干GPU，提升模型服务吞吐量

mosec 是一个高性能的机器学习模型服务框架，专注于解决模型部署中的吞吐量和资源利用率问题。它通过动态批处理（dynamic batching）和 CPU/GPU 流水线并行，最大化利用计算资源，尤其适合处理高并发推理请求。核心能力包括：基于 Python 的简洁 API，支持将多个模型阶段组合成流水线（如预处理、推理、后处理），自动进行请求批量和调度，并支持 JAX、PyTorch 等主流框架。mosec 还提供了可观测性指标和弹性扩缩容能力，帮助 MLOps 团队轻松部署和管理生产级模型服务。相比同类工具，它更轻量且专注于性能优化，适合对延迟和吞吐有严格要求的场景。

开源 free 音频音乐

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 902

维护状态活跃

是否开源是

定价模式 free

项目数据

分类音频音乐

开发团队mosecorg

所属国家

官网地址https://mosecorg.github.io/mosec

GitHubhttps://github.com/mosecorg/mosec

定价模式free

价格说明开源框架，Apache-2.0 许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型cv,deep-learning,gpu,hacktoberfest,jax,llm,llm-serving,machine-learning,machine-learning-platform,mlops,model-serving,mxnet,nerual-network,python,pytorch,rust,tensorflow,tts

GitHub 星标★ 902

30天Star增速

HF 下载量

上线时间2021-03-13 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

动态批处理自动合并请求，显著提升GPU利用率，减少空闲等待
CPU/GPU流水线并行，预处理与推理重叠，降低端到端延迟
API简洁，支持多阶段模型组合，易于扩展复杂推理流程

不足之处

文档/社区待观察
生态相对较新，与成熟框架相比集成案例较少

适用场景

高并发在线推理服务，如推荐系统、图像识别API
多模型组合流水线，如视频处理中检测+跟踪+识别
资源受限环境下的模型部署，需最大化硬件利用率

替代项目

Ray Serve、MLServer、BentoML

项目介绍

mosec 是基础设施领域的开源项目，由 mosecorg 开发，2021 年首次发布。

在全站 13,109 个收录项目中，它的 GitHub 星标数（902）位列前 30%，在基础设施分类中处于中上游。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。Apache-2.0 许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：高并发在线推理服务，如推荐系统、图像识别API。同类可对比的替代方案包括 Ray Serve、MLServer、BentoML。

上一篇：vox-serve

下一篇：uzu