mlx-lm

环境要求

• Apple Silicon（M 系列芯片）Mac，mlx-lm 基于 MLX 运行
• Python 环境可用，且已安装 pip 或 conda
• 网络可访问 Hugging Face，以便下载模型权重

安装与启动步骤

1. 1安装 mlx-lm

   README 推荐的最简安装方式，用 pip 从 PyPI 安装 mlx-lm 包。

   pip install mlx-lm

   复制

2. 2或用 conda 安装

   如果你用 conda 管理环境，可改从 conda-forge 频道安装，二选一即可。

   conda install -c conda-forge mlx-lm

   复制

3. 3生成一段文本

   用默认模型跑一次文本生成，命令行会输出模型对提示的回答。

   mlx_lm.generate --prompt "How tall is Mt Everest?"

   复制

4. 4进入聊天模式

   启动交互式聊天 REPL，可持续对话，上下文在本次 REPL 生命周期内保留。

   mlx_lm.chat

   复制

5. 5查看可用参数

   每个命令都支持命令行选项，用 -h 查看模型、采样参数等完整说明。

   mlx_lm.generate -h

   复制

6. 6指定其他模型

   用 --model 指定任意 MLX 兼容模型，可从 Hugging Face 的 mlx-community 组织挑选。

   mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"

   复制

关键配置

如何确认成功

执行 mlx_lm.generate --prompt "How tall is Mt Everest?" 后能正常输出文本，输入 mlx_lm.generate -h 能列出参数说明即安装成功。

常见问题

注意事项

• mlx-lm 面向 Apple silicon 与 MLX 框架，非 M 系列芯片的机器不在本教程覆盖范围内。
• 首次运行会自动从 Hugging Face 下载模型权重，需要联网且会占用磁盘空间。
• README 未给出 pip 安装所需的 Python 版本、显存/内存或磁盘容量的具体数值要求。