InternLM

环境要求

• Python 环境（用于运行 LMDeploy / Ollama 的 Python 调用代码）
• 已安装 pip，可执行 pip install
• 能够访问 HuggingFace 下载 internlm/internlm3-8b-instruct 模型权重
• 若使用 Ollama 方案，需先安装 Ollama 运行时

安装与启动步骤

1. 1安装 LMDeploy

   LMDeploy 是官方推荐的压缩、部署与服务化工具包，用一条 pip 命令安装即可，建议在独立虚拟环境中执行。

   pip install lmdeploy

   复制

2. 2本地批量推理

   用 LMDeploy 的 pipeline 直接加载模型并提问，脚本会自动从 HuggingFace 拉取权重，首次运行需等待下载完成。

   import lmdeploy
   model_dir = "internlm/internlm3-8b-instruct"
   pipe = lmdeploy.pipeline(model_dir)
   response = pipe("Please tell me five scenic spots in Shanghai")
   print(response)

   复制

3. 3启动兼容 API 服务

   启动 OpenAI 兼容的推理服务，--model-name 用于指定请求时使用的模型名，--server-port 指定监听端口。

   lmdeploy serve api_server internlm/internlm3-8b-instruct --model-name internlm3-8b-instruct --server-port 23333

   复制

4. 4发起对话请求

   服务启动后，用 curl 向本地 23333 端口发送 chat/completions 请求，注意 model 字段要与启动时的 --model-name 保持一致。

   curl http://localhost:23333/v1/chat/completions \
       -H "Content-Type: application/json" \
       -d '{
       "model": "internlm3-8b-instruct",
       "messages": [
       {"role": "user", "content": "Please tell me five scenic spots in Shanghai"}
       ]
       }'

   复制

5. 5安装 Ollama 方案

   另一种更轻量的本地运行方式：先用官方脚本安装 Ollama，再安装 ollama 的 Python 客户端库。

   curl -fsSL https://ollama.com/install.sh | sh
   pip install ollama

   复制

6. 6Ollama 流式推理

   通过 ollama.chat 指定 model 为 internlm/internlm3-8b-instruct，开启 stream 逐块打印模型回复内容。

   import ollama
   
   system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
   - InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
   - InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文."""
   
   messages = [
       {"role": "system", "content": system_prompt},
       {"role": "user", "content": "Please tell me five scenic spots in Shanghai"}
   ]
   
   stream = ollama.chat(
       model='internlm/internlm3-8b-instruct',
       messages=messages,
       stream=True,
   )
   
   for chunk in stream:
     print(chunk['message']['content'], end='', flush=True)

   复制

关键配置

如何确认成功

API 服务启动后，curl 请求返回包含模型回复的 JSON；或在 Python 中运行 pipeline，终端打印出上海五个景点即成功。

常见问题

注意事项

• README 中所有示例模型均为 internlm/internlm3-8b-instruct，替换模型时需同步修改服务名与请求体。
• Ollama 方案需先执行安装脚本安装 Ollama 运行时，再安装 Python 客户端 ollama。
• Python 示例中的 thinking_system_prompt 变量 README 未给出定义，实际使用时需自行补充系统提示词。
• 官方还提供在线 Chat Web 与 API 文档链接，可先体验再决定是否本地部署。