让编码器模型也能跑上 vLLM，推理快人一步
vllm-factory 是一个为编码器模型（如 ColBERT、GLiNER、ColPali 等）提供生产级推理服务的开源项目，以 vLLM 插件的形式实现，支持在线部署和进程内部署。它解决了 vLLM 主要支持解码器模型（如 GPT）而缺乏对编码器模型高效推理支持的问题，使得基于编码器的检索、排序、嵌入等任务也能享受 vLLM 的高吞吐和低延迟。核心能力包括：将多种编码器模型无缝集成到 vLLM 服务框架中，提供统一的推理接口；支持在线服务（如 HTTP 端点）和进程内调用（如 Python API），便于灵活部署；针对 ColBERT 等模型优化了推理性能，适用于大规模向量检索场景。该项目处于早期阶段，但为编码器模型的生产化提供了实用路径。
Hugging Face Text Generation Inference (TGI)、ONNX Runtime、Triton Inference Server
vllm-factory 是基础设施领域的开源项目，由 ddickmann 开发，是 2026 年新上线的项目。
它收录于基础设施分类，该分类目前共有 1,133 个项目，GitHub 星标数为 79。
项目仍在小幅维护中，最近一次代码更新于 2026-09-24。Apache-2.0 许可证，可免费使用和部署。
它主要面向的使用场景是：大规模向量检索系统中的ColBERT模型推理服务。同类可对比的替代方案包括 Hugging Face Text Generation Inference (TGI)、ONNX Runtime、Triton Inference Serve…。
下一篇：Neumann
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
[DEPRECATED / UNMAINTAINED] Multi-account gateway. No longer maintained; fork it and···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
