项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 718
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 多卡 GPU
- Docker
- Python 3.10+
安装与启动步骤
-
1起依赖
用 compose 起存储与调度组件。
docker compose up -d -
2装存储库
客户端要装存储 SDK。
pip install serverless-llm-store -
3注册模型
把模型路径与副本数登记进去。
# 按文档提交模型配置 -
4压测
观察冷启动与并发表现。
# 用压测脚本打一轮
如何确认成功
多模型切换时有请求成功返回，冷启动时间可测。
注意事项
- 它面向共享 GPU 上多模型部署。
- 模型副本数配多了会互相挤显存。
核心亮点
- 自动扩缩容到零，闲置时零成本，适合突发流量场景
- 冷启动优化，通过模型缓存和预加载减少等待时间
- 支持主流 LLM 模型，API 兼容 OpenAI 风格，接入简单
不足之处
- 项目处于早期，文档和社区生态尚不完善
- 对复杂推理场景（如多模型混合、自定义算子）支持有限
适用场景
- 个人开发者快速部署个人 LLM API 供应用调用
- 企业内部分享 LLM 能力，按部门或项目独立计费
- AI 应用原型开发，需要低成本验证 LLM 集成
替代项目
KServe、BentoML、Ray Serve
上一篇：spectralquant
下一篇：thepipe
同类项目推荐
codeburn
开源
每分钱花哪了看得明明白白，AI 账单不再超支。
Free, local tool to track AI coding token usage and cost across 37 tools and agents ···
flama
开源
一行命令把模型变成 API，自带聊天界面和 MCP 支持
The production framework for Predictive and Generative AI. Serve any model as an API···
LightLLM
开源
轻量部署 LLM，推理快人一步
LightLLM is a Python-based LLM (Large Language Model) inference and serving framewor···
kong
开源
统一管理 API 和 AI 服务，流量安全一把梭
The API and AI Gateway
llm-gateway
开源
一套接口接所有大模型，Agent 换供应商不用改代码
Open Source LLM Gateway
openllmetry-js
开源
给 LLM 应用装上监控，自动追踪调用、成本与性能
Sister project to OpenLLMetry, but in Typescript. Open-source observability for your···
llm-metadata
开源
统一查询 LLM 元数据，告别硬编码模型信息
A lightweight interface for accessing and integrating LLM metadata, enabling applica···
keras-sd-serving
开源
把 Keras 版 Stable Diffusion 快速部署成服务
showing various ways to serve Keras based stable diffusion
Awesome-DiT-Inference
开源
一站式索引扩散模型推理加速论文与代码，快速提升生成效率
A curated list of Awesome Diffusion Inference Papers with Codes: Sampling, Cache, Qu···