VibeThinker

环境要求

• Python 环境（可运行 transformers 推理脚本）
• transformers>=4.54.0（README 明确要求）
• 推荐用 vLLM==0.10.1 或 SGLang>=0.4.9.post6 获得更好推理性能
• 足够存放 VibeThinker-1.5B / 3B 权重的磁盘空间与推理显存（bfloat16）
• 可访问 Hugging Face 或 ModelScope 的 WeiboAI 组织页面下载权重

安装与启动步骤

1. 1安装推理依赖

   README 的 Quick Start 要求 transformers 版本不低于 4.54.0，先装好再写脚本。

   pip install "transformers>=4.54.0"

   复制

2. 2下载模型权重

   到 Hugging Face 或 ModelScope 的 WeiboAI 组织页，下载 VibeThinker-1.5B 或 3B 权重，记下本地目录路径。

3. 3编写推理脚本

   把 README 给出的 VibeThinker 类代码保存为 vibethinker_demo.py，注意 device_map、bfloat16 与 trust_remote_code 参数。

   from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
   
   
   class VibeThinker:
       def __init__(self, model_path):
           self.model_path = model_path
           self.model = AutoModelForCausalLM.from_pretrained(
               self.model_path,
               low_cpu_mem_usage=True,
               torch_dtype="bfloat16",
               device_map="auto"
           )
           self.tokenizer = AutoTokenizer.from_pretrained(self.model_path, trust_remote_code=True)
   
       def infer_text(self, prompt):
           messages = [
               {"role": "user", "content": prompt}
           ]
           text = self.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
           model_inputs = self.tokenizer([text], return_tensors="pt").to(self.model.device)
   
           generation_config = dict(
               max_new_tokens=40960,
               do_sample=True,
               temperature=0.6,  # 0.6 or 1.0, you can set it according to your needs
               top_p=0.95,
               top_k=None  # in vLLM or SGLang, please set top_k to -1
           )
           generated_ids = self.model.generate(
               **model_inputs,
               generation_config=GenerationConfig(**generation_config)
    

   复制

4. 4替换路径与提示词

   把代码中 'Your model path' 改为上一步下载的权重目录，'Your Prompt' 改为你的问题；temperature 可选 0.6 或 1.0。

5. 5运行推理脚本

   执行脚本后会加载模型并打印回答，首次加载权重耗时较长属正常现象。

   python vibethinker_demo.py

   复制

6. 6可选：加速推理

   如需更高推理性能，可安装 README 推荐的 vLLM 0.10.1；此时请把 top_k 设为 -1。

   pip install vllm==0.10.1

   复制

关键配置

如何确认成功

脚本运行结束能打印出模型对 prompt 的中文/英文回答且无报错，即表示权重加载与推理成功。

常见问题

注意事项

• README 节选中未给出 pip install 的完整安装命令，本教程的安装命令依据其标注的版本要求推导，未给出具体仓库名称。
• 模型权重需从 Hugging Face 或 ModelScope 的 WeiboAI 组织页面获取，README 节选中未列出确切的仓库 ID。
• README 未提供 Docker 或命令行一键部署方式，也未包含训练与评估的具体步骤。
• temperature 按 README 说明可在 0.6 与 1.0 之间按需选择。