vllm 第 3 页
本站收录 106 个带「vllm」标签的 AI 开源项目（按 GitHub 星标从高到低，第 3 / 3 页）
vllm-factoryvllm-factory 是一个为编码器模型（如 ColBERT、GLiNER、ColPali 等）提供生产级推理服务的开源项目，以 vLLM 插件的形式实现，★ 87
ray_vllm_inferenceray_vllm_inference 是一个将 vLLM 与 Ray Serve 集成的轻量级 LLM 推理服务项目，旨在提供快速且可扩展的大模型服务能力。它解★ 79
Decoding-Tree-SketchingDecoding Tree Sketching (DTS) 是一个面向大语言模型并行推理的即插即用框架，发表于 ICML 2026。它无需训练，且与模型无关，可★ 73
dgx-spark-inference-stackdgx-spark-inference-stack 是一个面向 NVIDIA DGX Spark（Grace Blackwell 桌面级 AI 超算）的推理服务★ 52
vllm-chatterbox-streamvllm-chatterbox-stream 是一个基于 vLLM 推理引擎的多语言文本转语音（TTS）服务，兼容 OpenAI API 接口，支持实时 PCM★ 8
xttsv2-vllm-streaming-server这是一个基于 vLLM 的 XTTS-v2 实时流式语音合成服务器，提供与 OpenAI 兼容的 API 接口。它解决了 XTTS-v2 模型在推理时延迟高、难★ 8