vector-inference

在 Slurm 集群上直接跑 LLM 推理服务

vector-inference 是一个面向 Slurm 集群的 LLM 推理服务框架，目标是让团队在已有 HPC 调度系统上高效部署大模型推理，而不必额外搭建 Kubernetes 或专用推理平台。它把模型加载、请求调度、批处理与多节点并行封装成可在 Slurm 上提交的任务，支持 SGLang 等推理后端，并覆盖文本生成、语音转写、多模态和奖励模型等任务类型。核心能力包括：在 Slurm 作业内启动推理服务并暴露 API，利用批处理和并行策略提升 GPU 利用率，统一管理多种模型任务的部署配置。适合已有 Slurm 集群、需要跑内部 LLM 服务的研究机构或企业，用较低改造成本把闲置 GPU 资源变成可调用的推理能力。