worker-vllm

在 Runpod 上一键部署 vLLM 推理端点，按需用 GPU

worker-vllm 是 Runpod 官方提供的 Serverless Worker 模板，用于在 Runpod 平台上部署基于 vLLM 的大语言模型推理端点。它把 vLLM 的高吞吐推理能力与 Runpod 的按需 GPU 调度结合起来，用户只需构建镜像并配置模型名称、张量并行度等环境变量，即可获得兼容 OpenAI 接口的推理服务。项目解决了自建 LLM 服务时环境配置繁琐、GPU 资源闲置、扩缩容困难等问题，核心能力包括：支持 HuggingFace 模型自动下载与缓存、支持张量并行和多卡推理、内置 OpenAI 兼容 API、可对接 Runpod 的队列与自动伸缩机制，并允许通过环境变量调整显存占用、最大上下文长度等参数。适合需要快速上线模型推理、又不想长期维护 GPU 集群的团队。