mosec

动态批处理+流水线，榨干GPU，提升模型服务吞吐量

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署音频音乐 🍴 复刻 75 🐛 待处理 13 👀 关注 9

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 904

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源框架，Apache-2.0 许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类音频音乐

开发团队mosecorg

官网地址https://mosecorg.github.io/mosec

GitHubhttps://github.com/mosecorg/mosec

定价模式🏷️完全免费

价格说明开源框架，Apache-2.0 许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型cv,deep-learning,gpu,hacktoberfest,jax,llm,llm-serving,machine-learning,machine-learning-platform,mlops,model-serving,mxnet,nerual-network,python,pytorch,rust,tensorflow,tts

GitHub 星标★ 904

上线时间2021-03-13 00:00:00

代码更新2026-11-02

仓库体积1.9 MB

本站数据更新2026-11-11

维护状态较活跃

收录时间2026-08-09

浏览次数5

项目介绍

mosec 是一个高性能的机器学习模型服务框架，专注于解决模型部署中的吞吐量和资源利用率问题。它通过动态批处理（dynamic batching）和 CPU/GPU 流水线并行，最大化利用计算资源，尤其适合处理高并发推理请求。核心能力包括：基于 Python 的简洁 API，支持将多个模型阶段组合成流水线（如预处理、推理、后处理），自动进行请求批量和调度，并支持 JAX、PyTorch 等主流框架。mosec 还提供了可观测性指标和弹性扩缩容能力，帮助 MLOps 团队轻松部署和管理生产级模型服务。相比同类工具，它更轻量且专注于性能优化，适合对延迟和吞吐有严格要求的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 904

技术标签

cv deep-learning gpu hacktoberfest jax

使用教程

难度：进阶约 25 分钟部署方式：本地安装 4 步

环境要求

Python 3.8+
Rust 工具链（源码编译时）

安装与启动步骤

1装包

Mosec 是模型服务框架，pip 或 conda 装都行。
```
pip install -U mosec
```
2写服务

继承 Worker，实现 forward 处理单条请求，再配 Server 起 HTTP 接口。
```
import mosec
class Echo(mosec.Worker):
    def forward(self, data):
        return data
```
3起服务

指定端口与超时，框架自动做批处理与并发调度。
```
python server.py --port 8000 --timeout 30000
```
4压测

用自带 client 或 ab 打请求，观察吞吐与显存占用再调 batch。