vLLM-2080Ti-Definitive

双2080Ti+NVLink跑Qwen 27B，单请求破100 tok/s

vLLM-2080Ti-Definitive 是面向双 RTX 2080 Ti 22GB 加 NVLink 配置的 vLLM 运行时优化方案，目标是让这套老硬件跑出接近当代显卡的本地大模型推理性能。它解决的核心问题是：2080 Ti 属于 Turing 架构，不支持原生 FP8 和 BF16 加速，官方 vLLM 在新特性上默认不覆盖这类卡，导致用户要么跑不动 Qwen 27B 级别模型，要么吞吐极低。项目通过定制编译、算子替换、显存与 KV Cache 调优，并借助 NVLink 做双卡张量并行，实现单请求解码 100+ tok/s，同时支持 FP8 权重加载，让 22GB 显存的双卡组合能承载更大参数模型。对预算有限、手里已有 2080 Ti 的本地部署用户，这是一份可直接复现的工程配置，而非通用框架。