BentoVLLM
用 vLLM 跑推理、BentoML 打包部署，自托管大模型更省事
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 175
核心亮点
- 把 vLLM 的高吞吐推理与 BentoML 的打包部署能力结合，省去自己拼接服务化链路
- Bento 制品包含模型与依赖，环境可复现，便于在本地、容器和 K8s 间迁移
- 暴露标准化 HTTP 接口，上层应用接入成本低，适合私有化部署场景
不足之处
- 项目处于早期，星标与生态较小，长期维护和版本跟进存在不确定性
- 对 vLLM 与 BentoML 版本兼容性敏感，升级时可能需要额外适配工作
- 缺少大规模生产案例与详细运维文档，排障资料有限
适用场景
- 企业内部私有化部署大语言模型，数据不出内网
- 把研究阶段的 vLLM 推理脚本快速转成可对外提供的模型服务
- 在 Kubernetes 上以标准化制品方式管理多个模型的推理服务
替代项目
vLLM、BentoML、Ollama
上一篇：nextjs-vllm-ui
下一篇：vllm-radiance
同类项目推荐
SmarterRouter
开源
统一管理本地多模型，自动路由省成本，故障秒切换。
SmarterRouter: An intelligent LLM gateway and VRAM-aware router for Ollama, llama.cp···
ESP32s3-LLM-Cluster
开源
7块ESP32-S3串成链，跑起0.4B三值量化大模型
7-node ESP32-S3 cluster running a 0.4B LLM via 1.58-bit (BitNet) ternary quantizatio···
oxidizePdf
开源
纯 Rust 解析 PDF，结构感知分块，让 RAG 检索更准。
Pure Rust PDF library for AI/RAG: structure-aware chunking, no ML, no C deps.
chassis
开源
把模型一键打包成容器，随处运行
Chassis turns machine learning models into portable container images that can run ju···
lantern
开源
在 PostgreSQL 里直接跑向量搜索，不用额外部署向量数据库。
PostgreSQL vector database extension for building AI applications
infermux
开源
看清跨云路由路径，优化网络调度
Route inference across providers.
mistral-inference
开源
官方推理库，快速跑通 Mistral 模型，省心部署
Official inference library for Mistral models
openchoreo
开源
用GitOps和AI代理，让K8s开发部署像点外卖一样简单
OpenChoreo is an internal developer platform for Kubernetes
picollm
开源
让大模型在手机和嵌入式设备上流畅跑起来
On-device LLM Inference Powered by X-Bit Quantization