1Cat-vLLM

环境要求

• Python 3.12
• CUDA 12.8
• PyTorch 2.10
• NVIDIA Tesla V100（SM70 / Volta 架构）显卡

安装与启动步骤

1. 1核对软硬件环境

   README 推荐环境为 Python 3.12 + CUDA 12.8 + PyTorch 2.10，且必须是 SM70 / Tesla V100 显卡，不匹配不要继续。

2. 2获取安装包

   稳定版从 GitHub Releases 下载 1cat_vllm 的 wheel 文件；若要 DFlash2 1.5.0 服务策略，需确认包内含 PR #426、#427 的 SM70 运行时改动。

3. 3安装 wheel 包

   在下载目录下执行，pip 会按通配符匹配 wheel 文件名安装到当前 Python 环境，注意 pip 需对应 Python 3.12。

   pip install ./1cat_vllm-*.whl

   复制

4. 4运行自检脚本

   验证 torch、CUDA、vLLM、flash_attn_v100 版本与显卡型号能否正常导入，脚本为 README 提供的原样命令。

   python - <<'PY'
   import sys
   import torch
   import vllm
   import flash_attn_v100
   from flash_attn_v100 import flash_attn_v100_cuda, paged_kv_utils
   from flash_attn_v100 import flash_attn_grouped_verify_max_query_tokens
   
   print("Python:", sys.version.split()[0])
   print("Torch:", torch.__version__)
   print("CUDA:", torch.version.cuda)
   print("GPU:", torch.cuda.get_device_name(0))
   print("vLLM:", vllm.__version__)
   print("flash_attn_v100:", flash_attn_v100.__version__)
   print("DFlash2 grouped verify max Q:", flash_attn_grouped_verify_max_query_tokens())
   print("FlashAttention-V100: OK")
   PY

   复制

如何确认成功

执行自检脚本后能打印出 Python/Torch/CUDA/GPU/vLLM/flash_attn_v100 版本，并最终输出 FlashAttention-V100: OK。

常见问题

注意事项

• README 未给出源码编译或克隆步骤，只有 wheel 安装方式，如需从源码构建请自行参考仓库。
• README 推荐模型：QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4、RadixArk/Qwen3.8-Flash-Next-NVFP4、incoai/Qwen3.8-27B-DFlash2。
• 除算子外项目还涉及 FlashAttention-V100、FP8 KV、QSA 稀疏注意力、TurboMind SM70 量化算子、DFlash2、CUDA Graph、前缀缓存等运行时组件。
• README 提到 --kv-cache-dtype fp8 在 SM70 Flash-V100 上会解析为 E4M3，注意与显存规划匹配。