omlx

Mac 菜单栏一键跑大模型，SSD 缓存突破内存限制，连续批处理提速

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 2111 🐛 待处理 533 👀 关注 114

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 23477

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0 许可证，可自行部署，完全免费。

项目预览

项目数据

分类开源模型

开发团队jundot

官网地址https://omlx.ai

GitHubhttps://github.com/jundot/omlx

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0 许可证，可自行部署，完全免费。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型apple-silicon,inference-server,llm,macos,mlx,openai-api

GitHub 星标★ 23477

上线时间2026-02-13 00:00:00

代码更新2026-11-08

仓库体积86.2 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数7

项目介绍

omlx 是一个专为 Apple Silicon 打造的 LLM 推理服务器，通过 macOS 菜单栏应用进行管理。它解决了在 Mac 上运行大模型时显存不足、推理效率低的问题，核心能力包括连续批处理（continuous batching）以提升吞吐量，以及 SSD 缓存机制来扩展可用模型容量，让大模型能利用 SSD 空间作为内存扩展。用户可通过菜单栏轻松启动、切换和管理本地模型，无需命令行操作。项目基于 Python 实现，深度优化了 Apple Silicon 的 GPU 和统一内存架构，提供类 OpenAI 的 API 接口，方便集成到现有应用中。它让 Mac 用户能流畅运行 7B-70B 级别的模型，兼顾性能与易用性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 23477

技术标签

apple-silicon inference-server llm macos mlx

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 10 分钟部署方式：本地安装 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Apple Silicon（M 系列芯片）Mac 设备
较新版本的 macOS 系统
如需从源码构建，需安装 Xcode 开发环境
可通过 macOS 菜单栏应用或 Homebrew 方式安装 oMLX

安装与启动步骤

1确认硬件环境

oMLX 专为 Apple Silicon 打造，需在 M 系列芯片的 Mac 上运行，并依赖统一内存与 GPU 优化能力。
2安装 oMLX

README 仅说明支持 macOS 应用或 Homebrew 两种安装方式，未给出具体命令，请前往官网获取安装包或安装说明。
3启动后台服务

以托管后台服务的方式启动推理服务器，进程崩溃后会自动重启，无需一直停留终端。
```
omlx start
```
4停止服务

需要释放内存或更换模型时，可用该命令关闭正在运行的后台推理服务。
```
omlx stop
```
5重启服务

修改模型或配置后用于重新加载服务，等效于先 stop 再 start。
```
omlx restart
```
6从源码构建应用

该脚本会执行 xcodebuild 构建、venvstacks 打包 Python 层并做 ad-hoc 签名，生成可运行的 oMLX.app。
```
apps/omlx-mac/Scripts/build.sh release
```