在 Mac 上原生跑 LLM，兼容 OpenAI/Anthropic API，无需 Python
mlx-serve 是一个专为 Apple Silicon 设计的原生 LLM 推理服务器，使用 Zig 语言编写，无需 Python 环境。它兼容 OpenAI 和 Anthropic API，可直接替换云端 API 接口，实现本地部署。项目包含 MLX Core macOS 应用，提供聊天、Agent 模式和工具调用功能，并支持图像生成（如扩散模型）和 GGUF 格式模型。它解决了 Mac 用户在本地高效运行大模型时配置复杂、依赖沉重的问题，核心能力包括高性能推理、API 兼容、原生应用集成以及多模态支持。作为早期项目，它聚焦于苹果生态，提供轻量、快速的本地 AI 服务方案。
1确认系统与芯片
必须是 Apple Silicon 的 Mac，且系统为 macOS 26.2 及以上，否则无法运行。可在「关于本机」中查看芯片与系统版本。
2添加 Homebrew 软件源
把项目的 tap 仓库添加到本地 Homebrew，之后才能安装 mlx-core 和 mlx-serve。需要已安装 Homebrew。
brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve3安装桌面应用
安装 MLX Core 菜单栏应用（官方推荐方式）。它内置服务端，可图形化下载模型、聊天、跑 Agent 模式和图像生成。
brew install --cask mlx-core4或只装 CLI 与服务
如果不需要图形界面，只安装命令行与服务端本体。两种方式装的是同一个服务端二进制。
brew install mlx-serve5启用本地推理服务
打开 MLX Core 应用并使用其模型管理与服务开关，或启动 CLI 服务端，服务会监听本机 11234 端口。
在浏览器或客户端访问 http://localhost:11234，用 Claude Code、OpenAI SDK 等兼容客户端能正常对话即表示启动成功。
Q：Windows 或 Linux 能用吗？
A：不能。本项目专为 Apple Silicon 设计，硬性要求 macOS 26.2+ 与 M 系列芯片，其他平台无法运行。
Q：需要先装 Python 或 Node 环境吗？
A：不需要。服务端是用 Zig 编写的原生程序，不含 Python 与 Electron 依赖，装完即可运行。
Q：应用版和 CLI 版该选哪个？
A：推荐装 mlx-core 应用，有进度界面下载模型、聊天、Agent 与多模态生成；只想跑服务端再装 mlx-serve 即可。
Q：怎么下载模型？
A：用 MLX Core 应用的模型管理界面浏览并下载 MLX 或 GGUF 格式模型，命令行方式 README 未给出具体下载命令。
ollama、llama.cpp、mlx-lm
mlx-serve 是基础设施领域的开源项目，由 ddalcu 开发，是 2026 年新上线的项目。
在全站 13,090 个收录项目中，它的 GitHub 星标数（1,514）位列前 30%，在基础设施分类中处于中上游。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。官网存在但定价信息不明确，需进一步确认。从国内网络环境看，可直接访问。
它主要面向的使用场景是：在Mac上本地运行LLM开发测试，替代云端API。同类可对比的替代方案包括 ollama、llama.cpp、mlx-lm。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···