MiniCPM

环境要求

• Python 环境（可用 pip 安装依赖）
• NVIDIA GPU（使用 vLLM / SGLang 后端时）
• pip 能安装 vllm>=0.21 或 transformers>=5.6 等依赖
• 可联网访问 Hugging Face 下载 openbmb/MiniCPM5-1B 权重

安装与启动步骤

1. 1选择推理后端

   README 给出 Transformers、vLLM、SGLang、llama.cpp、Ollama、LM Studio、MLX、LiteRT-LM 等后端，按硬件和场景选择其一即可，无需全部安装。

2. 2安装并启动 vLLM

   适用于 NVIDIA GPU，启动 OpenAI 兼容服务，默认监听 8000 端口，首次运行会自动下载模型权重。

   pip install "vllm>=0.21" && vllm serve openbmb/MiniCPM5-1B --port 8000

   复制

3. 3测试 vLLM 服务

   用 curl 向本地 8000 端口发一条聊天请求，确认服务可正常返回内容。

   curl http://localhost:8000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "openbmb/MiniCPM5-1B",
       "messages": [{"role": "user", "content": "Who are you? Please briefly introduce yourself."}],
       "max_tokens": 128,
       "temperature": 0.7
     }'

   复制

4. 4安装并启动 SGLang

   另一个 NVIDIA GPU 方案，README 推荐用于工具调用场景，服务监听 30000 端口。

   pip install "sglang[srt]>=0.5.12" && python -m sglang.launch_server --model-path openbmb/MiniCPM5-1B --port 30000

   复制

5. 5测试 SGLang 服务

   同样用 curl 请求 30000 端口的 OpenAI 兼容接口，验证输出是否符合预期。

   curl http://localhost:30000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "openbmb/MiniCPM5-1B",
       "messages": [{"role": "user", "content": "Who are you? Please briefly introduce yourself."}],
       "max_tokens": 128,
       "temperature": 0.7
     }'

   复制

6. 6安装 Transformers 依赖

   不用起服务、直接用 Python 本地推理时安装这三个包，支持 CPU 或 GPU，需 transformers>=5.6。

   pip install -U "transformers>=5.6" accelerate torch

   复制

7. 7运行本地推理脚本

   调用标准 Transformers 接口加载模型并对话，device_map="auto" 会自动选择可用设备。

   from transformers import AutoModelForCausalLM, AutoTokenizer
   
   model_id = "openbmb/MiniCPM5-1B"
   tokenizer = AutoTokenizer.from_pretrained(model_id)
   model = AutoModelForCausalLM.from_pretrained(
       model_id,
       torch_dtype="auto",
       device_map="auto",
   )
   
   messages = [{"role": "user", "content": "Who are you? Please briefly introduce yourself."}]
   inputs = tokenizer.apply_chat_template(
       messages,
       tokenize=True,
       add_generation_prompt=True,
       enable_thinking=False,
       return_dict=True,
       return_tensors="pt",
   ).to(model.device)
   
   outputs = model.generate(**inputs, max_new_tokens=128)
   print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

   复制

关键配置

如何确认成功

curl 请求 /v1/chat/completions 能返回模型自我介绍内容，或本地脚本打印出回答，即部署成功。

常见问题

注意事项

• README 中的示例命令统一使用 openbmb/MiniCPM5-1B 与端口 8000 / 30000，实际使用可替换为其他 MiniCPM5 权重。
• 量化模型不作为独立后端列出，README 将其归到能够加载对应格式的推理后端中说明。
• 本仓库以 Jupyter Notebook 为主，部署相关的详细步骤放在 docs/deployment 下的各后端 cookbook 中。
• Cursor / Claude Code 里可用 @minicpm5-deploy、@minicpm5-finetune 让 Agent 自动选择部署或微调路线。