mlx-openai-server

在 Mac 上跑起 OpenAI 兼容的本地模型服务，一行代码接入现有工具。

mlx-openai-server 是一个面向 Apple Silicon 芯片的高性能 API 服务器，为 MLX 系列模型提供 OpenAI 兼容的接口。它基于 Python 和 FastAPI 构建，支持视觉模型（如 MLX-VLM）和语言模型（如 MLX-LM），并集成了图像生成能力（如 FLUX）。该项目解决了在本地 Mac 上高效运行多种 MLX 模型并统一接入现有 OpenAI 生态的问题，核心能力包括：连续批处理（continuous batching）提升吞吐、多模型并行加载与切换、请求队列管理、以及兼容 OpenAI 的 RESTful API。用户无需修改代码即可将本地模型接入支持 OpenAI 的客户端或工具，实现低成本、低延迟的私有化部署。