项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 53
技术标签
核心亮点
- 覆盖主流部署工具，如 Flask、FastAPI、BentoML、MLflow，选择面广
- 提供可直接运行的模板代码，降低上手门槛
- 包含 Android 端部署示例，拓展移动端场景
不足之处
- 文档/社区待观察
- 示例深度可能有限，生产级细节（如监控、安全）涉及较少
适用场景
- 快速搭建模型 API 服务
- 学习不同部署框架的对比与选型
- 将模型集成到移动应用
替代项目
BentoML、MLflow Models、Ray Serve
上一篇：cicd-templates
下一篇：cinnamon
同类项目推荐
DeepInfer
开源
让 DeepSeek 大模型多卡高吞吐跑起来
DeepInfer: High-performance, large-scale inference framework for DeepSeek models
sd-webui-all-in-one
开源
一键安装管理多种AI绘图工具，省去折腾环境
支持安装、下载、启动和管理多种 AI WebUI / 训练工具的一体化项目，提供 Installer、整合···
metaflow-tools
开源
一键部署 Metaflow 生产环境，省心运维工作流平台
Tools and utilities for operating Metaflow in production
dola-render-gateway
开源
统一调度视频生成任务，让并发请求不打架
High-performance video generation gateway and session coordinator
litellm-pgvector
开源
把 LiteLLM 日志变成可搜索的向量库，快速挖掘调用模式
clawmetry
开源
看清智能体每一步思考，调试不再靠猜。
See your agent think. Zero-config observability & governance for 30 AI agent runtime···
dynamo
开源
把大模型推理做成数据中心级集群服务
A Datacenter Scale Distributed Inference Serving Framework
vllm.cpp
开源
C++ 重写 vLLM，连续批处理加前缀缓存，推理吞吐更高
a community oriented 1:1, vLLM-alike (Continuous batching, paged KV) engine in C++ w···
ComfyUI-Easy-Install
开源
一键装好 ComfyUI，开箱即用不折腾环境
One-click Portable ComfyUI with EZi Desktop - install, manage and customize ComfyUI ···