mlx-flash

让 Apple 设备跑起超内存大模型，流式加载不卡顿。

mlx-flash 是一个针对 Apple Silicon 的开源工具，通过权重流式加载技术，让 MLX 框架能够运行超过设备内存容量的超大模型。它解决了 Apple 设备因统一内存有限而无法加载大模型的问题，核心能力是将模型权重分块从磁盘流式传输到内存，按需加载，从而在低内存设备上运行数十亿参数的模型。该项目基于 Python，与 MLX 生态无缝集成，支持模型权重的动态调度，适合在 Mac 上进行大规模模型的本地推理和实验。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 133
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队matt-k-wong
所属国家
官网地址https://github.com/matt-k-wong/mlx-flash
GitHubhttps://github.com/matt-k-wong/mlx-flash
定价模式free
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型apple-silicon,large-language-models,llm,llm-inference,lm-studio,machine-learning,macos,memory-optimization,metal,mlx,optimization,weight-streaming
GitHub 星标★ 133
30天Star增速
HF 下载量
上线时间2026-03-20 00:00:00
最近更新2026-09-13 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 突破内存限制，可运行远超 RAM 容量的模型
  • 与 MLX 深度集成，使用简单，兼容现有模型
  • 流式加载机制，按需读取，减少启动延迟

不足之处

  • 文档/社区待观察
  • 依赖 Apple Silicon，非通用平台

适用场景

  • 在 Mac 上本地运行 70B+ 参数大模型
  • 内存受限的 Apple 设备进行模型推理测试
  • 开发需要大模型但无法负担高配硬件的场景

替代项目

llama.cpp、MLX-LM、ExLlamaV2

项目介绍

mlx-flash 是基础设施领域的开源项目，由 matt-k-wong 开发，是 2026 年新上线的项目。

它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 133。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-13。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：在Mac上本地运行70B+参数大模型。同类可对比的替代方案包括 llama.cpp、MLX-LM、ExLlamaV2。

上一篇：TinyGPT

下一篇：orthrus

同类项目推荐

freebuff-proxy 开源

聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型，免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09