mlx-omni-server

在 Mac 上本地跑多模态 AI，OpenAI 接口无缝接入

mlx-omni-server 是一个基于 Apple MLX 框架的本地推理服务器，专为 Apple Silicon（M 系列）芯片优化。它实现了与 OpenAI 兼容的 API 端点，让现有 OpenAI SDK 客户端能无缝接入本地多模态模型，支持语音转文字（STT）、文字转语音（TTS）、函数调用和结构化输出等功能。该项目解决了在 Mac 上高效运行本地大模型并集成到现有应用的问题，无需依赖云端 API，兼顾隐私和成本。核心能力包括：利用 MLX 框架充分发挥 Apple 芯片的神经网络加速性能，提供统一的 OpenAI 风格接口，支持工具调用和结构化数据生成，适合开发者构建本地 AI 助手或原型。目前项目处于早期阶段（734 星），但已具备完整的推理服务框架，是 Apple 生态内本地 AI 部署的有力工具。

开源 free 音频音乐

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 745

维护状态低维护

是否开源是

定价模式 free

项目数据

分类音频音乐

开发团队madroidmaq

所属国家

官网地址https://deepwiki.com/madroidmaq/mlx-omni-server/1-overview

GitHubhttps://github.com/madroidmaq/mlx-omni-server

定价模式free

价格说明开源项目，MIT许可证，本地部署，完全免费。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型function-calling,genai,mlx,openai,openai-api,structured-output,stt,tools,tts

GitHub 星标★ 745

30天Star增速

HF 下载量

上线时间2024-11-05 00:00:00

最近更新2026-09-22 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

针对 Apple Silicon 深度优化，推理性能优于通用框架
OpenAI 兼容 API，现有项目改个 base_url 即可切换
集成 STT/TTS/函数调用，一个服务搞定多模态需求

不足之处

仅支持 Apple Silicon，非 Mac 用户无法使用
早期项目，文档和生态待完善

适用场景

在 Mac 上开发本地 AI 助手，需要语音交互和工具调用
隐私敏感场景，数据不出本机，但需 OpenAI 兼容接口
快速原型验证，用现有 OpenAI SDK 代码直接对接本地模型

替代项目

Ollama、LocalAI、llama.cpp

项目介绍

mlx-omni-server 是基础设施领域的开源项目，由 madroidmaq 开发，2024 年首次发布。

它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 745。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。MIT许可证，本地部署，完全免费。

它主要面向的使用场景是：在Mac上开发本地AI助手，需要语音交互和工具调用。同类可对比的替代方案包括 Ollama、LocalAI、llama.cpp。

上一篇：gpt_server

下一篇：zerolan-core