vllm-factory

让编码器模型也能跑上 vLLM，推理快人一步

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 10 🐛 待处理 3
GitHub ↗
GitHub 星标 ★ 87
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可免费使用和部署。

项目预览

vllm-factory 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队ddickmann
GitHubhttps://github.com/ddickmann/vllm-factory
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai-infrastructure,colbert,colpali,embeddings,encoder,gliner,inference,ml-infra-deployments,multimodal-rag,ner,rag,retrieval,serving,triton-kernels,vllm,vllm-plugins
GitHub 星标★ 87
上线时间2026-03-24 00:00:00
代码更新2026-07-06
仓库体积8.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

vllm-factory 是一个为编码器模型（如 ColBERT、GLiNER、ColPali 等）提供生产级推理服务的开源项目，以 vLLM 插件的形式实现，支持在线部署和进程内部署。它解决了 vLLM 主要支持解码器模型（如 GPT）而缺乏对编码器模型高效推理支持的问题，使得基于编码器的检索、排序、嵌入等任务也能享受 vLLM 的高吞吐和低延迟。核心能力包括：将多种编码器模型无缝集成到 vLLM 服务框架中，提供统一的推理接口；支持在线服务（如 HTTP 端点）和进程内调用（如 Python API），便于灵活部署；针对 ColBERT 等模型优化了推理性能，适用于大规模向量检索场景。该项目处于早期阶段，但为编码器模型的生产化提供了实用路径。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 87

核心亮点

  • 填补 vLLM 对编码器模型支持的空白，扩展了 vLLM 的应用范围
  • 支持在线和进程内两种部署模式，灵活适配不同业务场景
  • 针对 ColBERT 等模型优化，提升检索和嵌入任务的推理效率

不足之处

  • 项目处于早期，文档和社区支持尚待完善
  • 支持的模型种类有限，可能无法覆盖所有编码器模型

适用场景

  • 大规模向量检索系统中的 ColBERT 模型推理服务
  • 需要低延迟实体识别（GLiNER）的在线 NLP 服务
  • 将 ColPali 等视觉-语言模型部署到生产环境

替代项目

Hugging Face Text Generation Inference (TGI)、ONNX Runtime、Triton Inference Server

上一篇：awesome-ai-gateway

下一篇：Neumann

同类项目推荐

openinference 开源

给 AI 应用装上标准监控，一键追踪 LLM 调用全链路

OpenTelemetry Instrumentation for AI Observability

★ 1311 2026-08-09
genai-prices 开源

按 token 算清大模型调用花多少钱

Calculate prices for calling LLM inference APIs.

★ 412 2026-10-19
kvcached 开源

让 GPU 显存像云硬盘一样弹性共享，多模型推理不再浪费缓存。

Virtualized Elastic KV Cache for Dynamic GPU Sharing and Beyond

★ 2036 2026-08-10
noronha 开源

用声明式管道搞定 ML 数据流程，快速上线模型

DataOps framework for Machine Learning projects.

★ 61 2026-08-09
datastoria 开源

AI 驱动 ClickHouse 诊断与查询优化，可视化一步到位

AI-native ClickHouse console for your cluster diagnostics and query generation, opti···

★ 327 2026-08-09
easy-vecdb 开源

手把手带你从零实现向量数据库，搞懂原理不再黑盒

从零开始的向量数据库原理与实践教程，在线阅读地址：https://easy-vecdb.datawhale.cc/

★ 431 2026-08-09
ai-optimizer 开源

在 Oracle 数据库上快速调优 RAG 和 NL2SQL 实验

Agentic Optimizer and Toolkit for experimentation using the Oracle AI Database

★ 103 2026-08-09
luminal 开源

Rust 写的轻量推理引擎，模型跑得更快更省

Inference at the speed of light.

★ 3046 2026-11-08