项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 906
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Apple Silicon（M 系列）
- macOS 13+
安装与启动步骤
-
1装运行时
Apple Silicon 上推荐 uv 或 pipx 管理，避免污染系统 Python。
brew install uv pipx install vmlx -
2起服务
vmlx 起本地推理服务，兼容 Ollama 协议，端口可指定。
vmlx serve --port 8080 -
3接客户端
把客户端指向本地地址，即可把请求路由到本机模型。
OLLAMA_HOST=http://localhost:8080 ollama run Qwen3.5-122B -
4想要界面
仓库也带 Electron 桌面壳，npm install && npm run build 后打包。
如何确认成功
本地端口能返回模型输出，客户端连接成功。
注意事项
- 图像生成要额外装 vmlx[image]，显存/统一内存不足时换小模型。
核心亮点
- 提出 JANGQ 格式，类比 GGUF，统一 MLX 模型分发与量化流程
- 不依赖 mlx_vlm，减少官方库版本耦合，加载更轻量
- 内置 KV Cache 压缩与复用优化，长上下文推理更省显存
不足之处
- 项目处于早期，851 星，生态和文档成熟度有限
- 主要面向 Apple Silicon Mac，跨平台支持弱
- JANGQ 格式尚未被社区广泛采纳，模型转换资源少
适用场景
- 在 MacBook 上本地加载量化 MLX 大模型做推理
- 长上下文对话场景下用 KV Cache 优化降低显存占用
- 通过 MCP Server 把本地 MLX 模型接入 Anthropic API 工作流
替代项目
mlx-examples、llama.cpp、Ollama
上一篇：cuvs
下一篇：mcp-gateway
同类项目推荐
cognitive-workspace
开源
让 LLM 拥有无限上下文，长任务不再失忆
Active memory management system enabling functional infinite context for LLMs throug···
digiRunner-Open-Source
开源
快速搭建微服务API网关，统一入口、安全可控。
digiRunner: Your API Gateway for Microservices
Safe-and-Stable-Ckpt2Safetensors···
开源
一键安全转换 ckpt 为 safetensors，告别恶意代码风险
Convert your Stable Diffusion checkpoints quickly and easily.
llm-inference-handbook
开源
一册看懂 LLM 推理全流程，选型调优不再靠猜
Everything you need to know about LLM inference
toshllm
开源
让 Intel Mac 的 AMD 显卡也能本地跑大模型
Run large language models locally on Intel Macs with AMD GPUs - native macOS app wit···
doris
开源
一套数据库搞定实时报表与AI向量检索
Apache Doris is a real-time analytics and hybrid search database for AI agents.
mlops-stacks
开源
在 Databricks 上，几分钟生成生产级 ML 项目骨架。
This repo provides a customizable stack for starting new ML projects on Databricks t···
LLM-API-Key-Proxy
开源
一个 API 接入所有大模型，自动切换密钥和负载均衡
Universal LLM Gateway: One API, every LLM. OpenAI/Anthropic-compatible endpoints wit···
sig-mlops
开源
看这一份MLOps标准指南，少走弯路
CDF SIG MLOps