backburner

插上 iPhone,Mac 本地跑 27B 大模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 116 🐛 待处理 6 👀 关注 13
GitHub ↗
GitHub 星标 ★ 1194
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

backburner 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队StayLameBro
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型apple-silicon,ios,iphone,llama-cpp,llm-inference,local-llm,macos,metal,qwen,sme2,speculative-decoding
GitHub 星标★ 1194
上线时间2026-10-01 00:00:00
代码更新2026-11-07
仓库体积798 KB
本站数据更新2026-11-21
维护状态较活跃
收录时间2026-10-06
浏览次数5

项目介绍

backburner 是一个把 iPhone 变成 Mac 本地大模型推理协处理器的开源项目。它针对 Mac 内存有限、难以流畅运行 27B 级模型的问题,通过 USB-C 线缆把 iPhone 的 A 系列芯片与统一内存接入推理流程,让 Mac 负责调度、iPhone 承担部分计算与缓存,从而在本地跑起更大的模型。核心能力包括:利用 iPhone 的 Metal 与 SME2 指令加速矩阵运算,通过线缆实现低延迟高带宽的数据交换,支持更长的上下文和更快的提示词读取,并引入投机解码提升生成速度。项目基于 Python 与 llama.cpp 生态,面向 Apple Silicon 用户,目标是零云端依赖、零额外硬件成本的本地大模型体验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 1194

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 6 步

环境要求

  • Apple Silicon Mac(README 实测:M4 Pro,24 GB 内存)
  • iPhone 15 Pro 或更新机型(实测 17 Pro Max、16 Pro Max),M 系列 iPad 未测试
  • 10 Gb/s 的 USB-C 线缆(iPhone 包装内的 USB 2 线太慢,不可用)
  • 免费 Apple ID 配合 AltStore 安装手机端 App,或使用 Xcode 自行构建
  • 首次安装需下载 Mac 引擎与模型,约 24 GB 磁盘空间与网络带宽

安装与启动步骤

  1. 1一键安装引擎模型

    官方一键脚本会下载 Mac 引擎与模型(约 24 GB),并生成手机端所需的那一半,可安全重复执行。

    curl -fsSL https://raw.githubusercontent.com/StayLameBro/backburner/main/install.sh | bash
  2. 2安装 iPhone 端 App

    从最新 release 取 Backburner.ipa,用 AltStore 装进手机,免费 Apple ID 即可;也可用 Xcode 自行构建。

  3. 3传输手机端分片

    每台手机只需执行一次:插上线、打开手机上的 Backburner,通过线缆把手机那一半拷过去。

    backburner phone
  4. 4启动推理服务

    在手机已插入且 Backburner 处于打开状态时启动,服务会以 OpenAI 兼容接口监听本机 8080 端口。

    backburner
  5. 5手动分步安装

    不想用一键脚本时,可克隆仓库(含子模块)后运行仓库内的启动脚本。

    git clone --recursive https://github.com/StayLameBro/backburner && cd backburner
  6. 6仅用 Mac 启动

    设置 PHONE=0 后启动脚本只使用 Mac 本地算力,不依赖手机参与推理。

    PHONE=0 scripts/serve.sh

关键配置

配置项必填说明示例
PHONE否设为 0 时关闭手机协处理,仅用 Mac 单独运行推理0

如何确认成功

启动日志首行应出现 split prefill on、remote KV on、ANE pages on,且服务在 http://127.0.0.1:8080/v1 可用。

常见问题

Q:必须要有付费苹果开发者账号吗?

A:不需要。README 说明用免费 Apple ID 通过 AltStore 即可安装手机端,或改用 Xcode 自行构建。

Q:能用 iPhone 盒子里自带的线吗?

A:不能。原装线是 USB 2,速度不够,必须使用 10 Gb/s 的 USB-C 线缆才能跑出 README 中的性能。

Q:不想插手机可以只跑 Mac 吗?

A:可以。执行 PHONE=0 scripts/serve.sh 即让 Mac 单独运行,手机不参与推理。

Q:哪些设备实际验证过?

A:官方在 M4 Pro 24GB 搭配 iPhone 17 Pro Max、16 Pro Max 上测试;社区也在 8/18GB Mac、M5、M1 iPad Pro、iPhone 18 Pro Max 上跑过。

注意事项

  • 首次带手机运行 scripts/serve.sh 会向手机推送 Neural Engine page model 并重启 App,约需一分钟。
  • 一键安装脚本 install.sh 可安全重复执行,中断后重跑即可。
  • 安装过程需下载约 24 GB 的引擎与模型,请预留磁盘与时间。
  • README 提到脚本 scripts/serve.sh 中每一处设置旁都标注了选择该值的实测依据,可按需微调。

核心亮点

  • 用 USB-C 把 iPhone 变成 Mac 的推理协处理器,无需购买新硬件即可扩展可用内存与算力
  • 结合 Metal 与 SME2 指令加速,并引入投机解码,提升长上下文场景下的提示读取与生成速度
  • 基于 llama.cpp 与 Python 生态,对已有本地推理工作流改动较小,便于实验和二次开发

不足之处

  • 依赖特定 iPhone 型号与 macOS 版本,兼容性范围有限,旧设备可能无法使用
  • 通过线缆共享推理对连接稳定性与带宽敏感,长时间高负载下可能发热降频

适用场景

  • Mac 内存不足但想本地运行 27B 级大模型的个人开发者
  • 需要长上下文处理文档、代码库,又不愿把数据上传云端的隐私敏感用户
  • 在无网络或弱网环境下做本地 AI 实验与原型验证的研究者

替代项目

llama.cpp、exo、mlx

上一篇:tracecrate

下一篇:infrahub

同类项目推荐

Uncensored-Local-Studio 开源

零配置本地运行无审查 AI,图像、对话、语音一站式搞定

Portable local AI studio for Windows, Linux, and macOS. Zero-setup GUI for Image Gen···

★ 2064 2026-08-09
shimmy 开源

单文件跑本地大模型,接口兼容 OpenAI

⚡ Pure-Rust WebGPU inference engine — OpenAI-API compatible, GGUF native, runs on ···

★ 6021 2026-11-13
awesome-ai-api-proxy 开源

一张清单,搞定所有AI模型中转站选型

One key. Every model. Anywhere. — A curated map of AI API relay stations & LLM gate···

★ 108 2026-08-09
Awesome-LLMOps 开源

一站式找到大模型开发运维工具,告别选型困难

An awesome & curated list of best LLMOps tools for developers

★ 5978 2026-08-09
krsh 开源

声明式配置,一键部署和管理 KubeFlow 环境

A declarative KubeFlow Management Tool

★ 130 2026-08-09
mloda 开源

插件化数据访问,让 AI 应用轻松获取可追溯的数据上下文。

mloda.ai - Open Data Access for AI and ML. Plugin-based. Traceable. Framework-agnost···

★ 101 2026-08-09
envd 开源

一条命令搞定可复现开发环境,人和 AI 都能用

️ Reproducible development environment for humans and agents

★ 2248 2026-08-09
devito 开源

用 Python 写方程,自动生成高性能有限差分代码

DSL and compiler framework for automated finite-differences and stencil computation

★ 719 2026-09-22
AI-Horde 开源

众包算力,免费生成 AI 图片和文字

A crowdsourced distributed cluster for AI art and text generation

★ 1697 2026-08-09