LLaMA_MPS

在 Mac 上让 LLaMA 跑得更快，用上 GPU 加速推理。

LLaMA_MPS 是一个面向 Apple Silicon 芯片的 LLaMA 模型推理加速项目，主要解决在 Mac 上运行 LLaMA 和 Stanford-Alpaca 模型时 GPU 利用率低、推理速度慢的问题。它利用苹果的 Metal Performance Shaders（MPS）后端，将 PyTorch 模型的计算图映射到 GPU 上执行，从而显著提升 token 生成速度。项目提供了简单的命令行接口，支持加载 Hugging Face 格式的模型权重，并针对 MPS 进行了算子优化和内存管理。核心能力包括：自动检测 MPS 设备、模型半精度加载、KV 缓存优化以及流式输出。该项目适合希望在本地 Mac 上体验 LLaMA 对话能力的开发者，无需 Nvidia GPU 或云服务。