nano-vllm-prefillonly

砍掉解码只留 prefill，判别式大模型推理更快更省

nano-vllm-prefillonly 是 nano-vllm 的一个专用优化分支，聚焦于仅需 prefill 阶段的推理任务。传统大模型推理框架通常为自回归解码设计，包含 KV Cache 管理、逐 token 生成等完整流程，但对于判别式应用（如多模态检索、打分、分类、rerank），模型只需对输入做一次前向计算即可得到结果，无需逐 token 解码。该项目正是为这类场景裁剪掉解码相关开销，保留并强化 prefill 路径，从而在工业级多模态大模型判别任务上获得更高的吞吐与更低的延迟。核心能力包括：针对 prefill-only 的调度与批处理优化、与多模态大模型输入适配、以及基于 nano-vllm 的轻量代码结构，便于二次开发与部署。适合需要大规模跑判别式推理、又不想背负完整生成式推理框架复杂度的团队。