mlx-lm

在 Mac 上本地跑大模型，不买显卡也能流畅推理微调

mlx-lm 是苹果 MLX 框架上的大语言模型运行与微调工具库，专为 Apple Silicon 芯片（M 系列）优化。它解决的核心问题是：在 Mac 本地高效跑 LLM，而不依赖 CUDA 或云端 GPU。项目提供命令行接口，可一键加载 Hugging Face 上的主流模型（如 Llama、Mistral、Qwen、Gemma 等），支持文本生成、流式输出、批量推理、LoRA/QLoRA 微调、模型量化与转换，还能将 PyTorch 权重转为 MLX 格式。底层利用 MLX 的统一内存架构和 Metal 加速，推理速度与能效在 Mac 上表现突出。对开发者而言，它既是本地实验 LLM 的轻量运行时，也是把模型部署到苹果生态的桥梁，适合个人开发者、研究人员和想在 Mac 上做 AI 应用原型的团队。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 7058

维护状态活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队ml-explore

所属国家

官网地址

GitHubhttps://github.com/ml-explore/mlx-lm

定价模式free

价格说明开源免费，基于MIT许可证

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型llms,mlx

GitHub 星标★ 7058

30天Star增速

HF 下载量

上线时间2025-03-11 00:00:00

最近更新2026-09-18 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-16

浏览次数0

使用教程

难度：入门约 10 分钟部署方式：库/依赖 6 步

环境要求

Apple Silicon（M 系列芯片）Mac，mlx-lm 基于 MLX 运行
Python 环境可用，且已安装 pip 或 conda
网络可访问 Hugging Face，以便下载模型权重

安装与启动步骤

1安装 mlx-lm

README 推荐的最简安装方式，用 pip 从 PyPI 安装 mlx-lm 包。
```
pip install mlx-lm
```
2或用 conda 安装

如果你用 conda 管理环境，可改从 conda-forge 频道安装，二选一即可。
```
conda install -c conda-forge mlx-lm
```
3生成一段文本

用默认模型跑一次文本生成，命令行会输出模型对提示的回答。
```
mlx_lm.generate --prompt "How tall is Mt Everest?"
```
4进入聊天模式

启动交互式聊天 REPL，可持续对话，上下文在本次 REPL 生命周期内保留。
```
mlx_lm.chat
```
5查看可用参数

每个命令都支持命令行选项，用 -h 查看模型、采样参数等完整说明。
```
mlx_lm.generate -h
```
6指定其他模型

用 --model 指定任意 MLX 兼容模型，可从 Hugging Face 的 mlx-community 组织挑选。
```
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
```

关键配置

配置项	必填	说明	示例
`--model`	否	指定要加载的 MLX 兼容模型；不填则用默认模型	`mlx-community/Llama-3.2-3B-Instruct-4bit`
`--prompt`	否	生成命令的输入提示文本，决定模型要回答的内容	`How tall is Mt Everest?`

如何确认成功

执行 mlx_lm.generate --prompt "How tall is Mt Everest?" 后能正常输出文本，输入 mlx_lm.generate -h 能列出参数说明即安装成功。

常见问题

Q：默认使用哪个模型？

A：生成和聊天命令的默认模型是 mlx-community/Llama-3.2-3B-Instruct-4bit，README 中明确说明。

Q：怎么换成别的模型？

A：在命令后加 --model 参数指定任意 MLX 兼容模型，Hugging Face 的 mlx-community 组织下有上千个可选。

Q：聊天记录会保存吗？

A：聊天 REPL 只在本次会话生命周期内保留上下文，退出后不会延续之前的对话。

Q：还有哪些参数可以调？

A：各命令都支持命令行选项，可指定模型、采样参数等，用命令加 -h 查看，例如 mlx_lm.generate -h。

注意事项

mlx-lm 面向 Apple silicon 与 MLX 框架，非 M 系列芯片的机器不在本教程覆盖范围内。
首次运行会自动从 Hugging Face 下载模型权重，需要联网且会占用磁盘空间。
README 未给出 pip 安装所需的 Python 版本、显存/内存或磁盘容量的具体数值要求。

核心亮点

专为 Apple Silicon 优化，统一内存+Metal 加速，Mac 上推理能效比高
一条命令即可下载并运行 Hugging Face 主流模型，支持流式输出和批量推理
内置 LoRA/QLoRA 微调与量化转换，覆盖从实验到部署的完整链路

不足之处

仅支持 Apple Silicon，无法在 Linux/Windows 或 Intel Mac 上使用
生态与文档相对 PyTorch 系工具仍偏薄，部分模型适配滞后

适用场景

在 MacBook 上本地运行开源 LLM 做对话或写作助手
用 LoRA 在本地小数据集上微调模型并快速验证效果
将 PyTorch 模型转换为 MLX 格式，部署到苹果生态应用

替代项目

llama.cpp、Ollama、vLLM

项目介绍

mlx-lm 是一个开源模型领域的开源项目，官方简介：Run LLMs with MLX。项目使用 Python 开发，在 GitHub 上获得 7020 星标。

上一篇：LLaVA-pp

下一篇：gemma