ChatGLM2-6B

环境要求

• Python 环境（需可运行 pip）
• transformers 库推荐 4.30.2
• torch 推荐 2.0 及以上版本
• 若使用 API 部署需额外安装 fastapi、uvicorn
• CPU 推理需约 32GB 内存，GPU 推理建议显存充足（半精度约 13GB）

安装与启动步骤

1. 1克隆仓库

   从 GitHub 拉取 ChatGLM2-6B 源码并进入项目目录，后续所有命令都在该目录执行。

   git clone https://github.com/THUDM/ChatGLM2-6B
   cd ChatGLM2-6B

   复制

2. 2安装基础依赖

   按 requirements.txt 安装运行所需 Python 包；建议先确认 transformers 为 4.30.2、torch 为 2.0 以上。

   pip install -r requirements.txt

   复制

3. 3安装 API 依赖

   只有需要以 HTTP 接口方式部署时才执行，为 api.py 提供 fastapi 与 uvicorn。

   pip install fastapi uvicorn

   复制

4. 4启动 API 服务

   运行仓库中的 api.py，服务默认监听本地 8000 端口，模型首次加载会下载权重、耗时较长。

   python api.py

   复制

5. 5调用接口验证

   另开一个终端，用 POST 请求向 127.0.0.1:8000 发送 prompt，成功会返回 response 与 history 字段。

   curl -X POST "http://127.0.0.1:8000" \
        -H 'Content-Type: application/json' \
        -d '{"prompt": "你好", "history": []}'

   复制

6. 6可选：OpenAI 格式部署

   如需接入 ChatGPT-Next-Web 等基于 ChatGPT 的应用，可改用 openai_api.py 启动流式 API。

   python openai_api.py

   复制

关键配置

如何确认成功

curl 返回 JSON，含 response、history、status、time 字段，且 response 为模型中文回复即成功。

常见问题

注意事项

• README 明确推荐 transformers 4.30.2、torch 2.0 及以上，以获得最佳推理性能。
• CPU 上运行量化模型需安装 gcc 与 openmp，Windows 安装 TDM-GCC 时需勾选 openmp。
• MacOS 上目前只支持从本地加载模型，量化 kernel 基于 CUDA，无法在 Mac 上使用 GPU 量化推理。
• 本模型为 MIT 协议开源，允许商用；README 中另有 GLM-4 系列的更新说明可供参考。