sarathi-serve

让长提示不再堵住短请求的 LLM 推理调度引擎

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 69 🐛 待处理 17 👀 关注 7
GitHub ↗
GitHub 星标 ★ 539
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

sarathi-serve 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队microsoft
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型llama,llm-inference,pytorch,transformer
GitHub 星标★ 539
上线时间2023-11-02 00:00:00
代码更新2026-11-17
仓库体积2.8 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-11-21
浏览次数0

项目介绍

Sarathi-Serve 是一个面向大语言模型推理的低延迟、高吞吐服务引擎,基于 PyTorch 与 Transformer 架构实现。它要解决的核心问题是:传统 LLM 服务在并发请求较多时,长序列生成会阻塞短请求,导致尾延迟升高、GPU 利用率不足。项目通过分块预填充(chunked prefilling)与连续批处理(continuous batching)相结合的方式,把长提示的预填充拆成小块,与解码阶段交错调度,从而在不显著牺牲吞吐的前提下压低单请求延迟。它提供统一的调度器与执行后端,支持 HuggingFace 风格模型加载,可对接 LLaMA 系列等常见开源模型,适合需要同时兼顾在线交互体验与批量吞吐的推理部署场景。整体定位偏向研究性与工程原型,代码结构清晰,便于二次开发与调度策略实验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 539

核心亮点

  • 采用分块预填充与连续批处理交错调度,显著降低长提示场景下的尾延迟
  • 在提升延迟表现的同时保持较高吞吐,兼顾在线交互与批量推理
  • 代码结构清晰、调度逻辑可插拔,便于研究和自定义调度策略

不足之处

  • 项目处于早期阶段,星标与社区规模较小,生产验证案例有限
  • 文档与部署运维配套相对薄弱,缺少成熟的监控与扩缩容方案
  • 对特定硬件与模型的支持范围有待扩展,生态集成不如主流推理框架完善

适用场景

  • 在线对话类应用的 LLM 推理服务部署
  • 需要同时处理长短混合请求的批量推理平台
  • LLM 推理调度策略的研究与实验对比

替代项目

vLLM、TensorRT-LLM、Text Generation Inference

上一篇:linten

下一篇:catwalk

同类项目推荐

HyperQwen 开源

24G 消费卡跑 27B 大模型,吞吐翻倍

Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 2···

★ 2771 2026-10-28
kitops 开源

把 AI 模型打包成标准镜像,像管容器一样管 AI 资产

An open source DevOps tool from the CNCF for packaging and versioning AI/ML models, ···

★ 1450 2026-08-09
csghub 开源

自建 Hugging Face,私有化掌控模型全生命周期

CSGHub is a brand-new open-source platform for managing LLMs, developed by the OpenC···

★ 4083 2026-08-09
nvidia_gpu_exporter 开源

一条命令把 NVIDIA GPU 监控接入 Prometheus,实时掌握显卡状态。

Nvidia GPU exporter for prometheus using nvidia-smi binary OR using NVML

★ 1596 2026-08-09
cortex 开源

统一管理多模型和智能体工具,一键切换后端AI服务

Open-source AI backend control plane for model routing, agent tools, OpenAI-compatib···

★ 66 2026-08-09
stable-diffusion-docker 开源

一键启动全功能AI绘画环境,省去配置烦恼

Docker image for Stable Diffusion WebUI with ControlNet, After Detailer, Dreambooth,···

★ 76 2026-08-09
open-connector 开源

一键连接千款 SaaS,让 AI 智能体轻松调用外部工具

Open-source auth gateway connecting 1700+ SaaS providers to AI agents through SDK, C···

★ 6275 2026-08-09
ai00_server 开源

一键部署 RWKV 模型,集成聊天、嵌入、RAG 和智能代理。

The all-in-one RWKV runtime box with embed, RAG, AI agents, and more.

★ 624 2026-08-09