
backburner
插上 iPhone,Mac 本地跑 27B 大模型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 1194
使用教程
环境要求
- Apple Silicon Mac(README 实测:M4 Pro,24 GB 内存)
- iPhone 15 Pro 或更新机型(实测 17 Pro Max、16 Pro Max),M 系列 iPad 未测试
- 10 Gb/s 的 USB-C 线缆(iPhone 包装内的 USB 2 线太慢,不可用)
- 免费 Apple ID 配合 AltStore 安装手机端 App,或使用 Xcode 自行构建
- 首次安装需下载 Mac 引擎与模型,约 24 GB 磁盘空间与网络带宽
安装与启动步骤
-
1一键安装引擎模型
官方一键脚本会下载 Mac 引擎与模型(约 24 GB),并生成手机端所需的那一半,可安全重复执行。
curl -fsSL https://raw.githubusercontent.com/StayLameBro/backburner/main/install.sh | bash -
2安装 iPhone 端 App
从最新 release 取 Backburner.ipa,用 AltStore 装进手机,免费 Apple ID 即可;也可用 Xcode 自行构建。
-
3传输手机端分片
每台手机只需执行一次:插上线、打开手机上的 Backburner,通过线缆把手机那一半拷过去。
backburner phone -
4启动推理服务
在手机已插入且 Backburner 处于打开状态时启动,服务会以 OpenAI 兼容接口监听本机 8080 端口。
backburner -
5手动分步安装
不想用一键脚本时,可克隆仓库(含子模块)后运行仓库内的启动脚本。
git clone --recursive https://github.com/StayLameBro/backburner && cd backburner -
6仅用 Mac 启动
设置 PHONE=0 后启动脚本只使用 Mac 本地算力,不依赖手机参与推理。
PHONE=0 scripts/serve.sh
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
PHONE | 否 | 设为 0 时关闭手机协处理,仅用 Mac 单独运行推理 | 0 |
如何确认成功
启动日志首行应出现 split prefill on、remote KV on、ANE pages on,且服务在 http://127.0.0.1:8080/v1 可用。
常见问题
Q:必须要有付费苹果开发者账号吗?
A:不需要。README 说明用免费 Apple ID 通过 AltStore 即可安装手机端,或改用 Xcode 自行构建。
Q:能用 iPhone 盒子里自带的线吗?
A:不能。原装线是 USB 2,速度不够,必须使用 10 Gb/s 的 USB-C 线缆才能跑出 README 中的性能。
Q:不想插手机可以只跑 Mac 吗?
A:可以。执行 PHONE=0 scripts/serve.sh 即让 Mac 单独运行,手机不参与推理。
Q:哪些设备实际验证过?
A:官方在 M4 Pro 24GB 搭配 iPhone 17 Pro Max、16 Pro Max 上测试;社区也在 8/18GB Mac、M5、M1 iPad Pro、iPhone 18 Pro Max 上跑过。
注意事项
- 首次带手机运行 scripts/serve.sh 会向手机推送 Neural Engine page model 并重启 App,约需一分钟。
- 一键安装脚本 install.sh 可安全重复执行,中断后重跑即可。
- 安装过程需下载约 24 GB 的引擎与模型,请预留磁盘与时间。
- README 提到脚本 scripts/serve.sh 中每一处设置旁都标注了选择该值的实测依据,可按需微调。
核心亮点
- 用 USB-C 把 iPhone 变成 Mac 的推理协处理器,无需购买新硬件即可扩展可用内存与算力
- 结合 Metal 与 SME2 指令加速,并引入投机解码,提升长上下文场景下的提示读取与生成速度
- 基于 llama.cpp 与 Python 生态,对已有本地推理工作流改动较小,便于实验和二次开发
不足之处
- 依赖特定 iPhone 型号与 macOS 版本,兼容性范围有限,旧设备可能无法使用
- 通过线缆共享推理对连接稳定性与带宽敏感,长时间高负载下可能发热降频
适用场景
- Mac 内存不足但想本地运行 27B 级大模型的个人开发者
- 需要长上下文处理文档、代码库,又不愿把数据上传云端的隐私敏感用户
- 在无网络或弱网环境下做本地 AI 实验与原型验证的研究者
替代项目
llama.cpp、exo、mlx
上一篇:tracecrate
下一篇:infrahub
同类项目推荐
Uncensored-Local-Studio
开源
零配置本地运行无审查 AI,图像、对话、语音一站式搞定
Portable local AI studio for Windows, Linux, and macOS. Zero-setup GUI for Image Gen···
shimmy
开源
单文件跑本地大模型,接口兼容 OpenAI
⚡ Pure-Rust WebGPU inference engine — OpenAI-API compatible, GGUF native, runs on ···
awesome-ai-api-proxy
开源
一张清单,搞定所有AI模型中转站选型
One key. Every model. Anywhere. — A curated map of AI API relay stations & LLM gate···
Awesome-LLMOps
开源
一站式找到大模型开发运维工具,告别选型困难
An awesome & curated list of best LLMOps tools for developers
krsh
开源
声明式配置,一键部署和管理 KubeFlow 环境
A declarative KubeFlow Management Tool
mloda
开源
插件化数据访问,让 AI 应用轻松获取可追溯的数据上下文。
mloda.ai - Open Data Access for AI and ML. Plugin-based. Traceable. Framework-agnost···
envd
开源
一条命令搞定可复现开发环境,人和 AI 都能用
️ Reproducible development environment for humans and agents
devito
开源
用 Python 写方程,自动生成高性能有限差分代码
DSL and compiler framework for automated finite-differences and stencil computation
AI-Horde
开源
众包算力,免费生成 AI 图片和文字
A crowdsourced distributed cluster for AI art and text generation