backburner

插上 iPhone，Mac 本地跑 27B 大模型

backburner 是一个把 iPhone 变成 Mac 本地大模型推理协处理器的开源项目。它针对 Mac 内存有限、难以流畅运行 27B 级模型的问题，通过 USB-C 线缆把 iPhone 的 A 系列芯片与统一内存接入推理流程，让 Mac 负责调度、iPhone 承担部分计算与缓存，从而在本地跑起更大的模型。核心能力包括：利用 iPhone 的 Metal 与 SME2 指令加速矩阵运算，通过线缆实现低延迟高带宽的数据交换，支持更长的上下文和更快的提示词读取，并引入投机解码提升生成速度。项目基于 Python 与 llama.cpp 生态，面向 Apple Silicon 用户，目标是零云端依赖、零额外硬件成本的本地大模型体验。