mlx-serve

在 Mac 上原生跑 LLM，兼容 OpenAI/Anthropic API，无需 Python

开源 🏷️定价信息待确认 ✅ 目前可打开 图像生成 🍴 复刻 252 🐛 待处理 95 👀 关注 18
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 2404
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

mlx-serve 项目界面预览图
图片来源：项目官网

项目数据

分类图像生成
开发团队ddalcu
官网地址https://mlxserve.com
GitHubhttps://github.com/ddalcu/mlx-serve
定价模式🏷️定价信息待确认
价格说明官网存在但定价信息不明确，需进一步确认。
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Zig
技术栈/模型agent,anthropic-api,apple-silicon,claude-code,deepseek-v4,diffusion,gguf,image-generation,inference,llm,local-llm,macos,macos-app,mlx,openai-api,tool-calling,video-generation,voice-agent,voice-cloning,zig
GitHub 星标★ 2404
上线时间2026-02-17 00:00:00
代码更新2026-11-08
仓库体积157.2 MB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数7

项目介绍

mlx-serve 是一个专为 Apple Silicon 设计的原生 LLM 推理服务器，使用 Zig 语言编写，无需 Python 环境。它兼容 OpenAI 和 Anthropic API，可直接替换云端 API 接口，实现本地部署。项目包含 MLX Core macOS 应用，提供聊天、Agent 模式和工具调用功能，并支持图像生成（如扩散模型）和 GGUF 格式模型。它解决了 Mac 用户在本地高效运行大模型时配置复杂、依赖沉重的问题，核心能力包括高性能推理、API 兼容、原生应用集成以及多模态支持。作为早期项目，它聚焦于苹果生态，提供轻量、快速的本地 AI 服务方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2404

使用教程

难度：入门 约 10 分钟 部署方式：本地安装 5 步

环境要求

  • macOS 26.2 或更高版本
  • Apple Silicon（M 系列芯片）Mac
  • 可选：Homebrew，用于命令行安装方式
  • 无需 Python、无需云端账号

安装与启动步骤

  1. 1确认系统与芯片

    必须是 Apple Silicon 的 Mac，且系统为 macOS 26.2 及以上，否则无法运行。可在「关于本机」中查看芯片与系统版本。

  2. 2添加 Homebrew 软件源

    把项目的 tap 仓库添加到本地 Homebrew，之后才能安装 mlx-core 和 mlx-serve。需要已安装 Homebrew。

    brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve

  3. 3安装桌面应用

    安装 MLX Core 菜单栏应用（官方推荐方式）。它内置服务端，可图形化下载模型、聊天、跑 Agent 模式和图像生成。

    brew install --cask mlx-core

  4. 4或只装 CLI 与服务

    如果不需要图形界面，只安装命令行与服务端本体。两种方式装的是同一个服务端二进制。

    brew install mlx-serve

  5. 5启用本地推理服务

    打开 MLX Core 应用并使用其模型管理与服务开关，或启动 CLI 服务端，服务会监听本机 11234 端口。

如何确认成功

在浏览器或客户端访问 http://localhost:11234，用 Claude Code、OpenAI SDK 等兼容客户端能正常对话即表示启动成功。

常见问题

Q：Windows 或 Linux 能用吗？

A：不能。本项目专为 Apple Silicon 设计，硬性要求 macOS 26.2+ 与 M 系列芯片，其他平台无法运行。

Q：需要先装 Python 或 Node 环境吗？

A：不需要。服务端是用 Zig 编写的原生程序，不含 Python 与 Electron 依赖，装完即可运行。

Q：应用版和 CLI 版该选哪个？

A：推荐装 mlx-core 应用，有进度界面下载模型、聊天、Agent 与多模态生成；只想跑服务端再装 mlx-serve 即可。

Q：怎么下载模型？

A：用 MLX Core 应用的模型管理界面浏览并下载 MLX 或 GGUF 格式模型，命令行方式 README 未给出具体下载命令。

注意事项

  • 服务默认地址为 http://localhost:11234，OpenAI 与 Anthropic 两种接口协议均兼容。
  • 同一端口可同时被 Claude Code、Cursor、Open WebUI 等工具复用。
  • 项目仍处于早期阶段，README 未提供命令行启动参数与配置项说明，需以应用内设置为准。
  • MLX Core 应用从 GitHub Releases 页面下载可获得已签名公证版本。

核心亮点

  • Zig 编写，无 Python 依赖，启动快、资源占用低
  • 原生支持 Apple Silicon，利用 MLX 框架发挥硬件性能
  • 兼容 OpenAI 和 Anthropic API，迁移成本低，可直接替换云端接口

不足之处

  • 仅支持 Apple Silicon，适用范围受限
  • 早期项目，功能完整性和稳定性待验证
  • 文档/社区待观察

适用场景

  • 在 Mac 上本地运行 LLM 开发测试，替代云端 API
  • 需要隐私保护的本地 AI 助手，支持工具调用
  • 利用 Mac 硬件进行图像生成和模型推理实验

替代项目

ollama、llama.cpp、mlx-lm

上一篇：OGAD

下一篇：mere-run

同类项目推荐

dud 开源

像管代码一样管数据，轻量级数据版本控制与管道工具

A lightweight CLI tool for versioning data alongside source code and building data p···

★ 220 2026-08-09
console 开源

集中管密钥，团队和 AI 代理都能安全取用

Secrets management for teams and AI agents.

★ 946 2026-09-22
database-build 开源

浏览器里玩转 Postgres，AI 帮你写 SQL

In-browser Postgres sandbox with AI assistance (formerly postgres.new)

★ 2950 2026-08-09
chroma 开源

给 AI 应用装一个超快的向量搜索引擎

Search infrastructure for AI

★ 29655 2026-08-09
bella-openapi 开源

一个网关搞定多种AI能力，还带计费和限流

Bella OpenAPI是一个提供了丰富的AI调用能力的API网关，可类比openrouter，与之不同的是除···

★ 240 2026-08-09
Observal 开源

把 AI 组件管起来，共享复用还能看运行数据

Share and discover coding agent resources across your team. Self-hosted, Apache 2.0,···

★ 4294 2026-08-09
gpu_poor 开源

选显卡前先算一算：模型显存和速度一键估算

Calculate token/s & GPU memory requirement for any LLM. Supports llama.cpp/ggml/bnb···

★ 1403 2026-08-09
qaboard 开源

把实验记录整理成册，一键对比调参结果

Quality tracking for people and agents Tests tell you it runs. QA-Board shows you i···

★ 55 2026-08-09
Bailo 开源

一站式管理 ML 模型全生命周期，让模型资产安全共享、合规可溯。

Managing the lifecycle of machine learning to support scalability, impact, collabora···

★ 96 2026-08-09