
sarathi-serve
让长提示不再堵住短请求的 LLM 推理调度引擎
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 539
核心亮点
- 采用分块预填充与连续批处理交错调度,显著降低长提示场景下的尾延迟
- 在提升延迟表现的同时保持较高吞吐,兼顾在线交互与批量推理
- 代码结构清晰、调度逻辑可插拔,便于研究和自定义调度策略
不足之处
- 项目处于早期阶段,星标与社区规模较小,生产验证案例有限
- 文档与部署运维配套相对薄弱,缺少成熟的监控与扩缩容方案
- 对特定硬件与模型的支持范围有待扩展,生态集成不如主流推理框架完善
适用场景
- 在线对话类应用的 LLM 推理服务部署
- 需要同时处理长短混合请求的批量推理平台
- LLM 推理调度策略的研究与实验对比
替代项目
vLLM、TensorRT-LLM、Text Generation Inference
同类项目推荐
amazon-eks-machine-learning-with···
开源
用 Terraform 一键在 EKS 上搭好 Kubeflow 机器学习平台
MLOps on Amazon EKS
HyperQwen
开源
24G 消费卡跑 27B 大模型,吞吐翻倍
Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 2···
kitops
开源
把 AI 模型打包成标准镜像,像管容器一样管 AI 资产
An open source DevOps tool from the CNCF for packaging and versioning AI/ML models, ···
csghub
开源
自建 Hugging Face,私有化掌控模型全生命周期
CSGHub is a brand-new open-source platform for managing LLMs, developed by the OpenC···
nvidia_gpu_exporter
开源
一条命令把 NVIDIA GPU 监控接入 Prometheus,实时掌握显卡状态。
Nvidia GPU exporter for prometheus using nvidia-smi binary OR using NVML
cortex
开源
统一管理多模型和智能体工具,一键切换后端AI服务
Open-source AI backend control plane for model routing, agent tools, OpenAI-compatib···
stable-diffusion-docker
开源
一键启动全功能AI绘画环境,省去配置烦恼
Docker image for Stable Diffusion WebUI with ControlNet, After Detailer, Dreambooth,···
open-connector
开源
一键连接千款 SaaS,让 AI 智能体轻松调用外部工具
Open-source auth gateway connecting 1700+ SaaS providers to AI agents through SDK, C···
ai00_server
开源
一键部署 RWKV 模型,集成聊天、嵌入、RAG 和智能代理。
The all-in-one RWKV runtime box with embed, RAG, AI agents, and more.