vllm-mlx

环境要求

• Apple Silicon（M 系列芯片）Mac，使用 Metal 与统一内存
• 已安装 Python 环境，并可使用 pip（README 亦推荐 uv）
• 能访问 mlx-community 模型仓库以下载模型权重
• 首次使用需下载模型，需预留磁盘空间与稳定网络

安装与启动步骤

1. 1安装 vllm-mlx

   用 pip 直接安装；README 同时给出 uv 方式，二者择一即可。

   pip install vllm-mlx

   复制

2. 2或改用 uv 安装

   README 推荐方式，把 CLI 工具安装到系统环境，便于全局调用。

   uv tool install vllm-mlx

   复制

3. 3启动推理服务

   指定 mlx-community 上的模型并开启连续批处理，端口用 8000，首次运行会下载模型。

   vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit --port 8000 --continuous-batching

   复制

4. 4用 OpenAI SDK 调用

   服务兼容 OpenAI 接口，base_url 指向本机 8000 端口，api_key 可随意填。

   from openai import OpenAI
   client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")
   r = client.chat.completions.create(model="default", messages=[{"role": "user", "content": "Hi!"}])
   print(r.choices[0].message.content)

   复制

5. 5接入 Claude Code

   设置 Anthropic 兼容的环境变量后启动 claude，即可复用同一服务。

   export ANTHROPIC_BASE_URL=http://localhost:8000
   export ANTHROPIC_API_KEY=not-needed
   claude

   复制

关键配置

如何确认成功

服务启动后，用 OpenAI SDK 向 http://localhost:8000/v1 发送一条 chat.completions 请求，能打印出回复内容即成功。

常见问题

注意事项

• 安装方式二选一：pip install vllm-mlx 或 uv tool install vllm-mlx，不要重复安装。
• 启动时 --continuous-batching 开启连续批处理，可提升并发吞吐。
• 同一进程同时暴露 OpenAI /v1/* 与 Anthropic /v1/messages 接口，无需分别部署。