vLLM-Kunlun

让昆仑芯 XPU 直接跑起 vLLM 大模型推理服务

vLLM-Kunlun 是一个社区维护的 vLLM 硬件插件，目标是让 vLLM 推理引擎无缝运行在昆仑 XPU 上。vLLM 本身是当前最流行的大模型推理服务框架，凭借 PagedAttention 和连续批处理实现高吞吐、低延迟的 LLM 服务，但它默认只支持 NVIDIA GPU 等少数后端。本项目通过实现 vLLM 的硬件插件接口，把昆仑芯 XPU 接入 vLLM 的执行链路，使国产 AI 加速卡也能直接跑起 vLLM 的推理服务。核心能力包括：对接 vLLM 的模型加载与算子执行、适配昆仑 XPU 的显存管理与计算后端、支持主流开源大模型的推理部署。对于使用昆仑芯硬件、又希望复用 vLLM 生态（OpenAI 兼容 API、量化、多卡并行等）的团队，这个插件省去了从零适配推理框架的工作，是国产算力落地大模型服务的一条现成路径。