mlx-openai-server
在 Mac 上跑起 OpenAI 兼容的本地模型服务，一行代码接入现有工具。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 364
核心亮点
- 原生利用 Apple Silicon 的 MLX 框架，推理性能优化到位
- 提供 OpenAI 兼容接口，无缝替换云 API，迁移成本极低
- 支持连续批处理和请求队列，高并发场景吞吐表现稳定
不足之处
- 仅支持 Apple Silicon，限制了非 Mac 用户的使用场景
- 项目处于早期阶段，文档和社区支持尚待完善
适用场景
- 在 Mac 上本地部署私有 LLM 或 VLM，供内部工具调用
- 开发阶段快速测试 OpenAI 兼容应用，无需连接云端
- 利用 FLUX 等模型在本地批量生成图像，降低 API 成本
替代项目
vLLM、Ollama、LocalAI
上一篇：llmedge
下一篇：comfyui-api
同类项目推荐
Awesome-LLM-Inference
开源
大模型推理优化论文与代码，一页找齐
A curated list of Awesome LLM/VLM Inference Papers with Codes: Flash-Attention, Page···
llmman
开源
把模型装进 OCI 镜像，任意 Agent 一键换模型跑
Run any agent on any model, models stored as OCI images
persistent-ai-memory
开源
给AI装上本地长期记忆，让对话不再失忆
A persistent local memory for AI, LLMs, or Copilot in VS Code.
parallax
开源
把多台机器拼成一个AI超级服务器，轻松跑大模型
Parallax is a distributed model serving framework that lets you build your own AI cl···
PowerInfer
开源
让普通电脑也能飞快跑大模型，省显存不减速
High-speed Large Language Model Serving for Local Deployment
pangolin
开源
自托管零信任网关，安全访问内网应用和 AI 服务
Modern networking and security platform providing secure access and connectivity to ···
fastembed-rs
开源
本地生成向量嵌入，让 Rust 应用秒变语义搜索高手
Rust library for generating vector embeddings and reranking locally!
xvc
开源
用 Rust 快速管理 ML 数据和流水线，像 Git 一样追踪大文件
A robust () and fast () MLOps tool for managing data and pipelines in Rust ()
eLLM
开源
长程推理跑 CPU，比 GPU 还快，省卡省钱
eLLM: Run Long-Horizon Inference Faster on CPUs Than on GPUs