metal-flash-attention

在 Apple 芯片上让注意力计算飞起来，加速 Stable Diffusion 推理。

metal-flash-attention 是一个基于 Apple Metal 高性能计算框架的 FlashAttention 移植实现，专为在 Apple 芯片（如 M1/M2 系列）上加速 Transformer 模型推理而设计。它解决了标准注意力机制在长序列场景下内存占用高、计算速度慢的问题，通过分块计算和内存优化，显著降低显存带宽需求并提升计算效率。该项目核心能力包括：提供 Metal 着色器实现的 FlashAttention 内核，支持 Stable Diffusion 等图像生成模型中的注意力计算加速，同时为 Swift 开发者提供高性能计算接口。作为早期项目，它展示了如何在 Apple 生态中利用 Metal 的并行计算能力优化 AI 工作负载，为后续更广泛的硬件加速方案提供了参考。