vLLM-metax

让 vLLM 跑在沐曦 GPU 上，国产卡也能高吞吐推理

vLLM-metax 是社区维护的 vLLM 硬件插件，让 vLLM 推理引擎能够在沐曦（MetaX）GPU 上运行。vLLM 是目前主流的高吞吐大模型推理框架，原生主要支持 NVIDIA GPU，而本项目通过实现 vLLM 的硬件插件接口，把沐曦 GPU 接入其调度、KV Cache 管理和 PagedAttention 等核心机制中，解决国产 GPU 用户无法直接使用 vLLM 的问题。核心能力包括：适配沐曦 GPU 的算子与显存管理、支持主流大模型的高效推理、复用 vLLM 的连续批处理和分页注意力等优化。项目由社区维护，属于早期阶段，适合需要在沐曦硬件上部署大模型推理、又希望沿用 vLLM 生态的开发者评估使用。