Rapid-MLX

环境要求

• Apple Silicon Mac（M1/M2/M3/M4），不支持 Intel Mac
• macOS 系统，pip 方式需 Python 3.10+（macOS 自带 3.9 偏低）
• 首次运行需下载约 3GB 模型权重，预留磁盘空间
• 基础安装为纯文本版，约 460MB；视觉/音频等需额外 extras

安装与启动步骤

1. 1安装 Rapid-MLX

   引导式安装脚本会自动检测内存并推荐入门模型；也可用 Homebrew 直接安装。

   curl -fsSL https://rapidmlx.com/install.sh | bash

   复制

2. 2命令行对话测试

   默认使用 qwen3.5-4b-4bit，首次运行下载约 3GB 权重后进入 REPL，用 /help 看命令、/exit 退出。

   rapid-mlx chat

   复制

3. 3启动本地推理服务

   启动 OpenAI 兼容的 HTTP 服务，默认绑定 http://localhost:8000，供其他客户端调用。

   rapid-mlx serve qwen3.5-4b-4bit

   复制

4. 4验证接口可用

   向 /v1/chat/completions 发一条请求，能返回 JSON 即说明服务正常。

   curl http://localhost:8000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{"model":"default","messages":[{"role":"user","content":"Say hello"}]}'

   复制

5. 5接入 Claude Code

   在服务已启动的前提下，该命令自动改写 ~/.claude/settings.json 指向本地端点，无需手填环境变量。

   rapid-mlx launch claude-code

   复制

关键配置

如何确认成功

执行 curl 能收到聊天补全 JSON，或 rapid-mlx chat 进入 REPL 正常对话，即安装并启动成功。

常见问题

注意事项

• 仅支持 Apple Silicon（M1/M2/M3/M4）的 Mac，Intel 机器不可用。
• 引导安装按内存推荐模型：低于 16GB 用 lfm2.5-1b-4bit，16GB 及以上用 qwen3.5-4b-4bit。
• 基础安装是纯文本版（约 460MB），首次对话还会额外下载约 3GB 权重。
• 接入 Claude Code 必须先启动 rapid-mlx serve，launch 命令会修改 ~/.claude/settings.json。