turbo-fieldfare

在 MacBook 上2GB内存跑26B大模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 476 🐛 待处理 57 👀 关注 35

GitHub ↗

GitHub 星标 ★ 7319

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0 许可证，完全免费，需自行部署使用。

项目预览

turbo-fieldfare 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队drumih

GitHubhttps://github.com/drumih/turbo-fieldfare

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0 许可证，完全免费，需自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Swift

技术栈/模型apple-silicon,gemma,gemma4,gemma4-26b-a4b,gpgpu,llm,llm-inference,local-ai,macos,metal,on-device-ai,on-device-llm,swift

GitHub 星标★ 7319

上线时间2026-07-17 00:00:00

代码更新2026-10-26

仓库体积5.5 MB

本站数据更新2026-11-09

维护状态较活跃

收录时间2026-08-09

浏览次数3

项目介绍

turbo-fieldfare 是一个基于 Swift 编写的开源项目，旨在让 Gemma 4 26B-A4B 模型在任意 M 系列 MacBook 上仅用约 2GB 内存即可运行推理。它解决了大模型在消费级硬件上资源占用过高的问题，通过高效的量化与内存管理技术，将原本需要数十GB显存的模型压缩至极低内存占用，同时保持可用的推理速度。项目核心能力包括：模型量化、内存优化、Swift 原生实现，以及针对 Apple Silicon 的硬件加速。用户无需高端 GPU 或云服务，即可在本地流畅运行 26B 级模型，适合开发者和研究者进行本地实验与部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 7319

技术标签

apple-silicon gemma gemma4 llm llm-inference

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 30 分钟部署方式：本地安装 5 步

环境要求

一台 Apple Silicon（M 系列）Mac，8 GB 内存机型也可运行
macOS 系统，运行时基于 Swift + Metal
本地磁盘需预留约 15 GB 下载流量与约 14.3 GB 安装空间（图像包另加约 1.1 GB）
安装过程需要访问 Hugging Face（流式范围请求下载）
使用命令行安装图像包时需具备 Swift 工具链

安装与启动步骤

1确认设备与磁盘空间

README 说明这是面向任意 Apple Silicon Mac 的 Swift + Metal 运行时。安装前应用会检查可用存储并显示下载大小与安装后大小，请确保空间充足。
2准备 Swift 运行环境

图像包安装命令使用 swift run，需先在 macOS 上准备好 Swift 工具链；README 未给出具体工具链安装命令，请按官方指引配置。
3启动应用下载模型

首次启动 Mac 应用后，应用检查存储并显示下载/安装体积，点击 Download 开始。安装器流式拉取所需字节范围并直接重打包为 .gturbo 布局，不会把模型载入内存。
4（可选）安装图像支持包

图像包安装在文本模型旁边，体积约 1.1 GB。--text-model 指向已安装的文本模型 .gturbo 目录，--vision-output 指定图像包输出目录。
```
swift run -c release TurboFieldfareRepack --vision-output scratch/gemma4.vision.gturbo --text-model scratch/gemma4.gturbo
```
5校验或移除图像包

安装完成后可校验图像包；不再需要时可移除已安装的图像包。取消的传输可以用 --resume 继续。
```
swift run -c release TurboFieldfareRepack --verify-vision-install
```

关键配置

配置项	必填	说明	示例
`--text-model`	是	指向已安装的文本模型 .gturbo 目录，图像包安装在其旁边	`scratch/gemma4.gturbo`
`--vision-output`	是	图像支持包的输出目录，安装约占用 1.1 GB	`scratch/gemma4.vision.gturbo`
`--resume`	否	继续之前被取消的下载传输	`--resume`
`--discard-partial`	否	丢弃已取消的下载残留，需配合 --vision-output 指定目录	`--discard-partial --vision-output scratch/gemma4.vision.gtur`

如何确认成功

安装完成的 .gturbo 安装体约占 14.3 GB，且 manifest 与文件哈希校验通过后才会被接受；图像包可用 --verify-vision-install 校验。

常见问题

Q：内存需要多大才能跑 26B 模型？

A：README 称约 2 GB 内存即可推理：常驻内存的只有约 1.35 GB 共享核心与 FP16 KV 缓存，专家权重按 token 从 SSD 流式读取，因此 8 GB 内存的 Mac 也能运行。

Q：下载和安装分别占多少空间、要多久？

A：首次安装约传输 15 GB，完成后 .gturbo 安装体约 14.3 GB（图像包再加约 1.1 GB）。耗时取决于网络速度与 Hugging Face 响应时间，可能比较久。

Q：下载中断或想取消怎么办？

A：被取消的传输可以用 --resume 继续；想彻底丢弃已取消的部分下载，使用 --discard-partial --vision-output <dir>。

Q：可以不用命令行、只在应用里装图像包吗？

A：可以。Mac 应用在 Image Support 区段提供同一个图像包的安装入口。

Q：它是 MLX 或 llama.cpp 的封装吗？

A：不是。TurboFieldfare 是模型专用的 Swift + Metal 运行时，运行时、流式安装器、CLI 与原生 Mac 应用都用 Swift 和 Metal 编写。

注意事项

安装器不落地完整源 checkpoint，而是按需流式请求字节范围并直接重打包为 .gturbo，避免磁盘上出现第二份完整模型。
固定使用 Hugging Face 的 pinned revision 下载，安装完成后会校验 manifest 与文件哈希。
README 未给出推理运行命令与端口配置，需要参考仓库内 docs/OPENAI_SERVER.md 等文档。
图像包与文本模型安装在同一位置，可独立校验、移除与续传。

核心亮点

内存占用极低，仅需约2GB即可运行26B模型
原生Swift实现，充分利用Apple Silicon性能
安装简单，开箱即用，适合个人开发者

不足之处

仅支持M系列Mac，平台局限性明显
推理速度可能受限于内存带宽，复杂任务性能待验证

适用场景

本地开发环境快速测试大模型
离线场景下的AI推理
教育或研究用途的模型实验

替代项目

llama.cpp、MLX、Ollama

上一篇：agentops

下一篇：gpustack