metal-flash-attention

在 Apple 芯片上让注意力计算飞起来,加速 Stable Diffusion 推理。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 44 🐛 待处理 5 👀 关注 14
GitHub ↗
GitHub 星标 ★ 615
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,无付费版本。

项目预览

metal-flash-attention 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队philipturner
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Swift
技术栈/模型artificial-intelligence,attention-mechanism,high-performance-computing,metal,software-engineering,stable-diffusion,transformer-models
GitHub 星标★ 615
上线时间2023-06-23 00:00:00
代码更新2024-09-22
仓库体积9.5 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

metal-flash-attention 是一个基于 Apple Metal 高性能计算框架的 FlashAttention 移植实现,专为在 Apple 芯片(如 M1/M2 系列)上加速 Transformer 模型推理而设计。它解决了标准注意力机制在长序列场景下内存占用高、计算速度慢的问题,通过分块计算和内存优化,显著降低显存带宽需求并提升计算效率。该项目核心能力包括:提供 Metal 着色器实现的 FlashAttention 内核,支持 Stable Diffusion 等图像生成模型中的注意力计算加速,同时为 Swift 开发者提供高性能计算接口。作为早期项目,它展示了如何在 Apple 生态中利用 Metal 的并行计算能力优化 AI 工作负载,为后续更广泛的硬件加速方案提供了参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 615

使用教程

难度:高级 约 60 分钟 部署方式:本地GPU 4 步

环境要求

  • Apple Silicon 机器
  • 苹果图形工具链
  • 注意力机制基础

安装与启动步骤

  1. 1克隆仓库

    它是一组最小可维护的源文件,不是可安装的库。

    git clone https://github.com/philipturner/metal-flash-attention
  2. 2按文档编译

    走苹果的着色语言工具链,版本不匹配直接编译失败。

  3. 3对拍正确性

    先和参考实现比对,确认数值误差在可接受范围。

  4. 4在长序列上测

    短序列看不出优势,要拉到长上下文才有意义。

如何确认成功

同一批输入下与参考实现输出接近,且长序列上的显存占用明显低于朴素实现

注意事项

  • 它是算法移植,目标是让人看懂并复现,不是拿来直接上线的库。
  • 苹果平台生态变化快,工具链版本要严格按文档对齐。
  • 只跑在苹果芯片上,其他平台没有意义。
  • 精度差异要看具体序列长度,短序列上更容易暴露数值问题。

核心亮点

  • 针对 Apple Metal 深度优化,充分利用 M 系列芯片的 GPU 并行能力
  • 直接加速 Stable Diffusion 等图像生成模型中的注意力瓶颈
  • 提供 Swift 接口,便于 Apple 生态开发者集成使用

不足之处

  • 仅支持 Apple 平台,无法跨平台使用
  • 文档和社区生态尚不完善,需等待更多实践反馈

适用场景

  • 在 Mac 上本地运行 Stable Diffusion 进行图像生成加速
  • 开发基于 Apple 芯片的 Transformer 模型推理服务
  • 研究 Metal 高性能计算在 AI 推理中的应用

替代项目

flash-attention(官方原版)、xformers(PyTorch 生态)、triton(通用 GPU 优化库)

上一篇:Fooocus-API

下一篇:ComfyUI-Windows-Portable

同类项目推荐

markify 开源

把各种文件秒变 Markdown,让 RAG 和 LLM 更懂你

Convert files into markdown to help RAG or LLM understand, based on markitdown and M···

★ 141 2026-08-09
DataPup 开源

AI 加持的免费跨平台数据库客户端,让查询更智能

A modern, AI-assisted, cross-platform database client - free

★ 309 2026-08-09
agentic-api 开源

给智能体应用加状态管理,接上 vLLM 直接跑

Stateful API logic for agentic applications using vLLM

★ 346 2026-10-28
opencode2api 开源

把 Zen 接口转成 OpenAI/Anthropic 格式,多密钥自动轮转

A Go-based OpenCode Zen / Zen Go API proxy with OpenAI & Anthropic API compatibility···

★ 1434 2026-11-10
surrealdb 开源

一个数据库搞定实时应用的后端,查询同步权限全内置

A scalable, distributed, collaborative, document-graph database, for the realtime we···

★ 33300 2026-08-10
HuggingFaceModelDownloader 开源

不装 Python,一条命令拉取 HuggingFace 模型和数据集

Simple go utility to download HuggingFace Models and Datasets

★ 1211 2026-10-04
databend 开源

一份数据在 S3 上同时做分析、搜索和 AI,不用搬来搬去

Data Agent Ready Warehouse : One for Analytics, Search, AI, Python Sandbox. — reb···

★ 9492 2026-10-11
curvine 开源

让 AI 应用像访问本地文件一样快速读写云存储

AI-Native & Cloud-Native FS: A high-performance file semantic layer for cloud objec···

★ 1057 2026-08-10
BentoDiffusion 开源

用 BentoML 一键部署扩散模型,快速上线图像生成服务

BentoDiffusion: A collection of diffusion models served with BentoML

★ 390 2026-08-09