PowerInfer

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• 已安装 Python 环境，可执行 python 与 pip 命令
• 已获取项目源码目录（Python 依赖需在项目根目录安装）
• 已准备原始模型目录和对应的 predictor 目录（用于模型转换）
• 消费级 GPU 环境（PowerInfer 定位为 CPU/GPU 混合推理）
• 足够存放转换后 GGUF 模型的磁盘空间

安装与启动步骤

1. 1克隆项目仓库

   从 GitHub 获取 PowerInfer 源码。README 未给出具体克隆命令，此处按项目提供的仓库地址获取，克隆后进入项目目录。

   git clone https://github.com/Tiiny-AI/PowerInfer.git

   复制

2. 2安装 Python 依赖

   在项目根目录执行，安装 requirements.txt 中列出的依赖，为模型转换脚本准备运行环境。

   pip install -r requirements.txt

   复制

3. 3准备模型与预测器

   按 README 的 Model Weights 章节准备原始模型目录与 predictor 目录，这两个路径是下一步转换命令的输入。

4. 4转换模型为 GGUF

   调用 convert.py 把原始模型转换为 PowerInfer 专用的 GGUF 格式；三个路径参数需替换为自己机器上的真实路径。

   python convert.py --outfile /PATH/TO/POWERINFER/GGUF/REPO/MODELNAME.powerinfer.gguf /PATH/TO/ORIGINAL/MODEL /PATH/TO/PREDICTOR

   复制

5. 5运行推理

   转换完成后按 README 的 Inference 章节启动推理。README 节选中未给出具体推理命令，请以仓库该章节内容为准。

关键配置

如何确认成功

README 未给出启动验证方式；可先确认 --outfile 指定路径下已生成 .powerinfer.gguf 模型文件，再按 Inference 章节运行推理并观察输出。

常见问题

注意事项

• README 节选中未包含完整的编译与推理命令，本教程只覆盖其中明确出现的步骤，其余请以仓库文档为准。
• 转换命令中的 /PATH/TO/... 为大写占位路径，执行前必须替换为真实路径。
• 面向手机等端侧场景可参考 PowerInfer-2 及 smallthinker/README.md 中的端侧推理框架。
• README 中的模型权重来自 Hugging Face（如 PowerInfer/SmallThinker 系列），请按其 Model Weights 章节获取。