
metal-flash-attention
在 Apple 芯片上让注意力计算飞起来,加速 Stable Diffusion 推理。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 615
技术标签
使用教程
环境要求
- Apple Silicon 机器
- 苹果图形工具链
- 注意力机制基础
安装与启动步骤
-
1克隆仓库
它是一组最小可维护的源文件,不是可安装的库。
git clone https://github.com/philipturner/metal-flash-attention -
2按文档编译
走苹果的着色语言工具链,版本不匹配直接编译失败。
-
3对拍正确性
先和参考实现比对,确认数值误差在可接受范围。
-
4在长序列上测
短序列看不出优势,要拉到长上下文才有意义。
如何确认成功
同一批输入下与参考实现输出接近,且长序列上的显存占用明显低于朴素实现
注意事项
- 它是算法移植,目标是让人看懂并复现,不是拿来直接上线的库。
- 苹果平台生态变化快,工具链版本要严格按文档对齐。
- 只跑在苹果芯片上,其他平台没有意义。
- 精度差异要看具体序列长度,短序列上更容易暴露数值问题。
核心亮点
- 针对 Apple Metal 深度优化,充分利用 M 系列芯片的 GPU 并行能力
- 直接加速 Stable Diffusion 等图像生成模型中的注意力瓶颈
- 提供 Swift 接口,便于 Apple 生态开发者集成使用
不足之处
- 仅支持 Apple 平台,无法跨平台使用
- 文档和社区生态尚不完善,需等待更多实践反馈
适用场景
- 在 Mac 上本地运行 Stable Diffusion 进行图像生成加速
- 开发基于 Apple 芯片的 Transformer 模型推理服务
- 研究 Metal 高性能计算在 AI 推理中的应用
替代项目
flash-attention(官方原版)、xformers(PyTorch 生态)、triton(通用 GPU 优化库)
上一篇:Fooocus-API
同类项目推荐
markify
开源
把各种文件秒变 Markdown,让 RAG 和 LLM 更懂你
Convert files into markdown to help RAG or LLM understand, based on markitdown and M···
DataPup
开源
AI 加持的免费跨平台数据库客户端,让查询更智能
A modern, AI-assisted, cross-platform database client - free
agentic-api
开源
给智能体应用加状态管理,接上 vLLM 直接跑
Stateful API logic for agentic applications using vLLM
opencode2api
开源
把 Zen 接口转成 OpenAI/Anthropic 格式,多密钥自动轮转
A Go-based OpenCode Zen / Zen Go API proxy with OpenAI & Anthropic API compatibility···
surrealdb
开源
一个数据库搞定实时应用的后端,查询同步权限全内置
A scalable, distributed, collaborative, document-graph database, for the realtime we···
HuggingFaceModelDownloader
开源
不装 Python,一条命令拉取 HuggingFace 模型和数据集
Simple go utility to download HuggingFace Models and Datasets
databend
开源
一份数据在 S3 上同时做分析、搜索和 AI,不用搬来搬去
Data Agent Ready Warehouse : One for Analytics, Search, AI, Python Sandbox. — reb···
curvine
开源
让 AI 应用像访问本地文件一样快速读写云存储
AI-Native & Cloud-Native FS: A high-performance file semantic layer for cloud objec···
BentoDiffusion
开源
用 BentoML 一键部署扩散模型,快速上线图像生成服务
BentoDiffusion: A collection of diffusion models served with BentoML