项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 746
使用教程
环境要求
- Apple Silicon Mac
- Python 3.11+
安装与启动步骤
-
1装包
从包管理器装。
pip install mlx-omni-server -
2起服务
用命令行直接起，默认端口固定。
mlx-omni-server --help -
3开发模式
改源码时用 uvicorn 起。
uv run uvicorn mlx_omni_server.main:app --reload --host 0.0.0.0 --port 10240 -
4验环境
确认 MLX 可用再下模型。
python -c "import mlx; print(mlx.__version__)"
如何确认成功
接口返回模型列表，发一条对话请求能拿到流式回复。
注意事项
- 它把 MLX 模型包装成 OpenAI 兼容接口，客户端不用改代码。
- 只支持 Apple Silicon，Intel 机器装不上 MLX。
核心亮点
- 针对 Apple Silicon 深度优化，推理性能优于通用框架
- OpenAI 兼容 API，现有项目改个 base_url 即可切换
- 集成 STT/TTS/函数调用，一个服务搞定多模态需求
不足之处
- 仅支持 Apple Silicon，非 Mac 用户无法使用
- 早期项目，文档和生态待完善
适用场景
- 在 Mac 上开发本地 AI 助手，需要语音交互和工具调用
- 隐私敏感场景，数据不出本机，但需 OpenAI 兼容接口
- 快速原型验证，用现有 OpenAI SDK 代码直接对接本地模型
替代项目
Ollama、LocalAI、llama.cpp
上一篇：gpt_server
下一篇：zerolan-core
同类项目推荐
cortex
开源
统一管理多模型和智能体工具，一键切换后端AI服务
Open-source AI backend control plane for model routing, agent tools, OpenAI-compatib···
logto
开源
开箱即用的登录与权限系统，让 SaaS 和 AI 应用快速上线认证
Authentication and authorization infrastructure for SaaS and AI apps, built on OI···
openlake
开源
加速 LLM 训练与推理，让 GPU 不再等数据
OpenLake is a high performance storage engine for efficient LLM inference and GPU Tr···
llmserve
开源
终端里选模型选后端，一键把本地 LLM 跑起来
A simple TUI for serving local LLM models. Pick a model, pick a backend, serve it
llm-graph-builder
开源
上传文档，一键用LLM自动生成知识图谱
Neo4j graph construction from unstructured data using LLMs
claw-compactor
开源
超长对话自动压缩，花小钱办大事不丢内容
14-stage Fusion Pipeline for LLM token compression — reversible compression, AST-aw···
mixtral-offloading
开源
让 8x7B 大模型在低配电脑上跑起来
Run Mixtral-8x7B models in Colab or consumer desktops
lucebox
开源
消费级显卡也能跑出更快的本地大模型推理
LLM speculative inference server for heterogeneous hardware & consumer GPUs
doubao2api
开源
把豆包变成 OpenAI 接口，免费多模态调用
Reverse-engineered Doubao (豆包) API → OpenAI-compatible REST service. Free multimo···