Mac 菜单栏一键跑大模型，SSD 缓存突破内存限制，连续批处理提速
omlx 是一个专为 Apple Silicon 打造的 LLM 推理服务器，通过 macOS 菜单栏应用进行管理。它解决了在 Mac 上运行大模型时显存不足、推理效率低的问题，核心能力包括连续批处理（continuous batching）以提升吞吐量，以及 SSD 缓存机制来扩展可用模型容量，让大模型能利用 SSD 空间作为内存扩展。用户可通过菜单栏轻松启动、切换和管理本地模型，无需命令行操作。项目基于 Python 实现，深度优化了 Apple Silicon 的 GPU 和统一内存架构，提供类 OpenAI 的 API 接口，方便集成到现有应用中。它让 Mac 用户能流畅运行 7B-70B 级别的模型，兼顾性能与易用性。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1确认硬件环境
oMLX 专为 Apple Silicon 打造，需在 M 系列芯片的 Mac 上运行，并依赖统一内存与 GPU 优化能力。
2安装 oMLX
README 仅说明支持 macOS 应用或 Homebrew 两种安装方式，未给出具体命令，请前往官网获取安装包或安装说明。
3启动后台服务
以托管后台服务的方式启动推理服务器，进程崩溃后会自动重启，无需一直停留终端。
omlx start4停止服务
需要释放内存或更换模型时，可用该命令关闭正在运行的后台推理服务。
omlx stop5重启服务
修改模型或配置后用于重新加载服务，等效于先 stop 再 start。
omlx restart6从源码构建应用
该脚本会执行 xcodebuild 构建、venvstacks 打包 Python 层并做 ad-hoc 签名，生成可运行的 oMLX.app。
apps/omlx-mac/Scripts/build.sh release执行 omlx start 后若无报错即代表后台服务已启动；README 未提供端口或健康检查命令。
Q：可以在 Intel Mac 或 Windows 上运行吗？
A：不可以。oMLX 专为 Apple Silicon 优化，依赖 MLX 与统一内存架构，只有 M 系列芯片的 Mac 才可运行。
Q：服务崩溃后需要手动重启吗？
A：不需要。README 说明 omlx start 以后台服务方式运行，崩溃后会自动重启，也可用 omlx restart 手动重启。
Q：如何更换或添加模型？
A：README 提到可从菜单栏管理模型，并把常用模型常驻内存、按需自动换入较重模型，具体操作见官网 omlx.ai。
Q：从哪里获取安装包？
A：README 未给出安装命令，说明支持 macOS 应用与 Homebrew 两种安装方式，请以官网 omlx.ai 的安装说明为准。
Ollama、LM Studio、llama.cpp
omlx 是基础设施领域的开源项目，由 jundot 开发，是 2026 年新上线的项目。
在全站 13,090 个收录项目中，它的 GitHub 星标数（22,070）位列前 3%，在基础设施分类的 1,132 个项目里位列前 4%。
近 41 天，它的 GitHub 星标从 18,638 增加到 22,070，净增 3,432。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。Apache-2.0 许可证，可自行部署，完全免费。
它主要面向的使用场景是：在MacBook上本地运行Llama3等大模型做离线问答和文本生成。同类可对比的替代方案包括 Ollama、LM Studio、llama.cpp。
上一篇：screenpipe
下一篇：MNN
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···