worker-vllm
在 Runpod 上一键部署 vLLM 推理端点，按需用 GPU
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 474
技术标签
使用教程
环境要求
- 云 GPU 平台账号
- 模型访问权限
安装与启动步骤
-
1选部署方式
多数场景直接用预构建镜像，最快。
-
2配环境变量
模型名、并行度、显存比例是必填项。
-
3起端点
在平台上创建 Serverless 端点并指向镜像。
-
4用兼容接口调用
端点对外是 OpenAI 兼容格式。
-
5看日志排查起不来
模型拉不下来是最常见的失败原因。
如何确认成功
端点起来后能用兼容客户端正常对话，且并发请求时能看到批处理生效
注意事项
- 它是把推理引擎封装成 Serverless 端点的官方模板，按需计费，闲时不占卡。
- 要直连 HTTP 做负载均衡端点的话不需要这个模板，用官方镜像即可。
- 模型体积大时冷启动很慢，交互式场景要评估首字延迟。
- 并行度与显存比例配错会起不来，日志里能直接看到原因。
核心亮点
- 与 Runpod Serverless 深度集成，支持自动扩缩容和按请求计费，空闲时不占用 GPU
- 内置 OpenAI 兼容接口，现有客户端无需改造即可迁移
- 通过环境变量即可配置模型、张量并行、显存比例等，部署流程标准化
不足之处
- 强绑定 Runpod 平台，无法直接迁移到其他云或本地环境
- 项目定位为模板，功能相对基础，缺少高级路由、鉴权、监控等生产级能力
适用场景
- 在 Runpod 上快速搭建 LLM 推理 API 供内部应用调用
- 为突发流量场景提供按需伸缩的模型推理服务
- 低成本试验不同开源大模型的推理效果
替代项目
vLLM、TGI、Ollama
同类项目推荐
openmodelz
开源
给 LLM 推理装上自动挡，流量波动也不怕，按需伸缩省成本。
Autoscale LLM (vLLM, SGLang, LMDeploy) inferences on Kubernetes (and others)
InsForge
开源
给编码智能体装上全套后端，一键从代码到上线。
The all-in-one, open-source backend platform for agentic coding. InsForge gives your···
ai-dial-core
开源
一套 API 统一接入多家大模型，业务代码不用改
The main component of AI DIAL, which provides unified API to different chat completi···
awesome-ai-tokenomics
开源
一站式掌握AI token成本，省下每一分钱
A curated list on AI token economics: what tokens cost, where they get wasted, and h···
codex-lb
开源
多账户轮询分流，突破 API 限速，用量一目了然
Codex/ChatGPT multiple account load balancer & proxy with usage tracking, dashboard,···
codex-runway
开源
菜单栏一眼看穿 Codex/Grok 额度，防超限断工
Native menu bar & tray app for macOS, Windows and Linux: track Codex, Claude Code an···
kraken
开源
自托管 CI 系统，灵活流水线，轻松掌控测试全流程。
Kraken CI is a continuous integration and testing system.
anyquery
开源
用 SQL 一把梭，轻松查遍 60+ 工具数据，还能喂给 AI
One SQL interface for 60+ tools (e.g., GitHub, Notion, Airtable). Plug into any LLM ···
llm-graph-builder
开源
上传文档，一键用LLM自动生成知识图谱
Neo4j graph construction from unstructured data using LLMs