hpc-ops

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• 带 CUDA 的 NVIDIA GPU 环境（README 说明内核面向 NVIDIA GPU，示例使用 device="cuda"）
• Python 环境与 PyTorch（示例代码 import torch）
• C++ 编译工具链（项目为 C++ 源码安装）
• Git（用于克隆仓库）

安装与启动步骤

1. 1克隆代码仓库

   从 GitHub 拉取 HPC-Ops 源码到本地，注意保持网络可访问 GitHub。

   git clone https://github.com/Tencent/hpc-ops.git

   复制

2. 2进入项目目录

   切换到刚克隆下来的 hpc-ops 目录，后续编译与测试都在此目录进行。

   cd hpc-ops

   复制

3. 3编译安装

   README 节选在 cd hpc-ops 处被截断，后续编译安装命令未给出，请打开仓库 README 的 Install from Source 小节按原文档执行。

4. 4运行算子示例

   使用 README 提供的 GroupGEMM FP8 示例验证安装是否可用，需在带 CUDA 的 GPU 机器上运行。

   import torch
   import hpc
   
   num_tokens = 1024
   num_group, n, k = 8, 4096, 4096
   x = torch.randn((num_tokens, k), dtype=torch.float, device="cuda").to(torch.float8_e4m3fn)
   w = torch.randn((num_group, n, k), dtype=torch.float, device="cuda").to(torch.float8_e4m3fn)
   scale = torch.full((num_group,), 1.0, dtype=torch.float, device="cuda")
   num_tokens_per_group = torch.full((num_group,), 8, dtype=torch.int32, device="cuda")
   cu_num_tokens_per_group = torch.cumsum(torch.cat([torch.tensor([0], dtype=torch.int32, device="cuda"), num_tokens_per_group]), dim=0).to(torch.int32)
   
   output = hpc.group_gemm_pertensor_fp8(
       x, w, num_tokens_per_group, cu_num_tokens_per_group, scale,
   )

   复制

如何确认成功

能成功 import hpc，并跑通 group_gemm_pertensor_fp8 示例且不报错，即说明安装可用。

常见问题

注意事项

• README 节选中 Install from Source 的命令不完整，编译安装步骤必须以仓库最新 README 为准，不要自行猜测编译参数。
• 项目为 C++ 算子库，本地编译通常耗时较长，建议预留足够磁盘空间与时间。
• 官方基准对标 vLLM、SGLang、FlashInfer、NCCL、cuBLAS、TensorRT-LLM，调优前可参考 README 的 Performance 小节。
• 示例代码依赖 CUDA GPU 与 FP8 支持，无 GPU 环境无法验证。