LongWriter

环境要求

• Python 环境（项目开发语言为 Python）
• transformers>=4.43.0（README 推荐的部署版本）
• NVIDIA GPU 与 CUDA 环境（脚本以 CUDA_VISIBLE_DEVICES 指定显卡）
• 可访问 HuggingFace 以下载 THUDM/LongWriter-glm4-9b 或 LongWriter-llama3.1-8b 权重

安装与启动步骤

1. 1获取项目代码

   克隆 LongWriter 仓库并进入目录，trans_web_demo.py 等脚本都在仓库根目录下。

   git clone https://github.com/THUDM/LongWriter.git
   cd LongWriter

   复制

2. 2安装推理依赖

   README 明确推荐使用 transformers>=4.43.0 才能正常部署模型，先升级到该版本。

   pip install "transformers>=4.43.0"

   复制

3. 3脚本加载模型对话

   用官方示例代码加载 LongWriter-glm4-9b，提问 10000 字写作任务并打印结果，注意设置较大的 max_new_tokens。

   from transformers import AutoTokenizer, AutoModelForCausalLM
   import torch
   tokenizer = AutoTokenizer.from_pretrained("THUDM/LongWriter-glm4-9b", trust_remote_code=True)
   model = AutoModelForCausalLM.from_pretrained("THUDM/LongWriter-glm4-9b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")
   model = model.eval()
   query = "Write a 10000-word China travel guide"
   response, history = model.chat(tokenizer, query, history=[], max_new_tokens=32768, temperature=0.5)
   print(response)

   复制

4. 4启动网页版 Chatbot

   README 给出的自建 Chatbot 方式，用 CUDA_VISIBLE_DEVICES=0 指定 0 号显卡运行仓库内脚本。

   CUDA_VISIBLE_DEVICES=0 python trans_web_demo.py

   复制

5. 5vllm 高速推理

   README 称用 vllm 可在一分钟内生成万字，示例代码在 vllm_inference.py；需自行按 vllm 官方说明装好 vllm。

   python vllm_inference.py

   复制

关键配置

如何确认成功

脚本运行无报错并打印出万字级长文响应；Web Demo 脚本启动后在浏览器中可正常对话生成。

常见问题

注意事项

• 模型权重较大，首次从 HuggingFace 下载耗时较长，请预留磁盘与网络时间。
• LongWriter-glm4-9b 与 LongWriter-llama3.1-8b 分别基于 GLM-4-9B 和 Meta-Llama-3.1-8B 训练，属对应论文中的 LongWriter-9B-DPO 与 LongWriter-8B。
• README 未给出 Web Demo 的访问端口，启动后请以终端输出的实际地址为准。
• 推理需要 GPU 支持，建议显存充足并优先使用 bfloat16 精度加载。