ollama-python

环境要求

• Python 3.8+ 环境
• 已安装并保持运行的 Ollama 服务
• 已拉取要调用的模型（如 gemma4）
• 可访问 PyPI 以执行 pip 安装

安装与启动步骤

1. 1安装并启动 Ollama

   从官网下载安装 Ollama 并保持其运行，本库所有请求都依赖本地 Ollama 服务。

2. 2拉取本地模型

   先拉取一个模型到本地，示例用 gemma4，也可换成 Ollama 支持的其他模型。

   ollama pull gemma4

   复制

3. 3安装 Python 库

   使用 pip 安装 ollama 官方 Python 客户端库，安装后即可在脚本中导入。

   pip install ollama

   复制

4. 4运行首次对话

   新建 Python 文件写入示例代码并运行，终端会打印模型的回答内容。

   from ollama import chat
   from ollama import ChatResponse
   
   response: ChatResponse = chat(
     model='gemma4',
     messages=[
       {
         'role': 'user',
         'content': 'Why is the sky blue?',
       },
     ],
   )
   print(response['message']['content'])

   复制

5. 5开启流式输出

   设置 stream=True 即可边生成边打印，适合聊天界面等需要实时输出的场景。

   from ollama import chat
   
   stream = chat(
     model='gemma4',
     messages=[{'role': 'user', 'content': 'Why is the sky blue?'}],
     stream=True,
   )
   
   for chunk in stream:
     print(chunk['message']['content'], end='', flush=True)

   复制

6. 6登录并拉取云端模型

   使用云端大模型需先一次性登录，再拉取受支持的云端模型到本地工作流。

   ollama signin
   ollama pull gpt-oss:120b-cloud

   复制

7. 7调用云端模型

   用 Client 调用刚拉取的云端模型，同样支持 stream 流式逐段打印结果。

   from ollama import Client
   
   client = Client()
   
   messages = [
     {
       'role': 'user',
       'content': 'Why is the sky blue?',
     },
   ]
   
   for part in client.chat('gpt-oss:120b-cloud', messages=messages, stream=True):
     print(part.message.content, end='', flush=True)

   复制

关键配置

如何确认成功

运行示例后终端打印出模型回答且无报错；流式示例能逐段输出文字，说明库与 Ollama 服务连通正常。

常见问题

注意事项

• 所有调用前必须保证 Ollama 服务已安装并处于运行状态。
• 模型需先 pull 到本地后才能被库调用，否则请求会失败。
• 云端模型需要先执行 ollama signin 完成一次性登录。
• 本库仅提供 Python 客户端，模型推理由 Ollama 本体负责。