vmlx

Mac 上跑 MLX 模型，一个格式搞定加载与量化

vMLX 是一个面向苹果 MLX 框架的模型运行与量化工具，核心创新是提出 JANGQ 格式——可以理解为“MLX 版的 GGUF”，让用户无需依赖 mlx_vlm 等官方封装库，就能直接在 Mac（尤其是 Apple Silicon 芯片）上加载和推理 MLX 模型。它解决了 MLX 生态中模型分发格式不统一、量化模型加载繁琐的问题，同时集成了 KV Cache 压缩、复用与优化能力，降低长上下文推理的显存占用。项目还提供 MCP Server 支持，可对接 Anthropic API 等外部服务，并兼容 LM Studio、MLX Studio 等本地工具链，适合想在 MacBook 上低成本跑本地大模型的开发者和研究者。