vector-inference

在 Slurm 集群上直接跑 LLM 推理服务

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 14 🐛 待处理 11 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 111
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，需自行部署于Slurm集群

项目预览

vector-inference 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队VectorInstitute
官网地址https://vectorinstitute.github.io/vector-inference
GitHubhttps://github.com/VectorInstitute/vector-inference
定价模式🏷️完全免费
价格说明开源免费，需自行部署于Slurm集群
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio-transcription,inference,llm,llm-infernece,llm-infrastructure,multimodal,reward-model,sglang,speech-to-text,text-embedding,vllm,vlm
GitHub 星标★ 111
上线时间2024-03-06 00:00:00
代码更新2026-11-02
仓库体积25.5 MB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-09-24
浏览次数2

项目介绍

vector-inference 是一个面向 Slurm 集群的 LLM 推理服务框架，目标是让团队在已有 HPC 调度系统上高效部署大模型推理，而不必额外搭建 Kubernetes 或专用推理平台。它把模型加载、请求调度、批处理与多节点并行封装成可在 Slurm 上提交的任务，支持 SGLang 等推理后端，并覆盖文本生成、语音转写、多模态和奖励模型等任务类型。核心能力包括：在 Slurm 作业内启动推理服务并暴露 API，利用批处理和并行策略提升 GPU 利用率，统一管理多种模型任务的部署配置。适合已有 Slurm 集群、需要跑内部 LLM 服务的研究机构或企业，用较低改造成本把闲置 GPU 资源变成可调用的推理能力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-24 · 当前星标 ★ 111

核心亮点

  • 直接复用 Slurm 调度，无需引入 Kubernetes 等额外编排层
  • 支持 SGLang 后端，覆盖文本、语音转写、多模态和奖励模型多种任务
  • 把推理服务封装为 Slurm 作业，便于在 HPC 环境批量部署和资源管理

不足之处

  • 项目处于早期，文档和示例较少，上手需要一定 HPC 经验
  • 社区规模小，问题反馈和生态集成能力有限

适用场景

  • 高校或实验室在已有 Slurm 集群上部署内部 LLM 推理 API
  • 企业用 Slurm 管理 GPU 资源，需要统一跑文本、语音等多类模型任务
  • 研究团队批量提交推理作业，做模型评测或奖励模型打分

替代项目

vLLM、SGLang、Ray Serve

上一篇：freellmpool

下一篇：NpgsqlRest

同类项目推荐

OlliteRT 开源

把安卓手机变成本地 OpenAI 接口推理服务器

Turn your Android phone into an OpenAI-compatible LLM inference server - Fully local···

★ 618 2026-11-06
nixl 开源

为分布式推理提供统一高速数据传输层

NVIDIA Inference Xfer Library (NIXL)

★ 1360 2026-10-25
ai-optimizer 开源

在 Oracle 数据库上快速调优 RAG 和 NL2SQL 实验

Agentic Optimizer and Toolkit for experimentation using the Oracle AI Database

★ 103 2026-08-09
eloquentjs 开源

在 Node.js 里用 Laravel 式语法操作数据库，开发效率翻倍

EloquentJS monorepo — Laravel Eloquent for Node.js

★ 75 2026-08-09
polyaxon 开源

一站式管理AI实验、训练与部署，让团队协作更高效。

AI Infra / AI Orchestration / AI Control Plane

★ 3746 2026-08-09
AIephant-AI-Agent-Gateway 开源

统一管控所有 AI 代理的 LLM 调用，还能发布成付费接口赚钱

Alephant is an open-source AI Agent Gateway for routing, tracking, and controlling L···

★ 118 2026-08-09
Fooocus-API 开源

把 Fooocus 变成 API，一行代码接入图像生成

FastAPI powered API for Fooocus

★ 678 2026-08-09
clawk 开源

给 AI 编码代理一个一次性 Linux 虚拟机，保护你的电脑。

Give coding agents a disposable Linux VM, not your laptop

★ 1040 2026-08-09