generative-recommenders

环境要求

• Ubuntu 22.04（README 声明已验证的系统）
• CUDA 12.4 与 Python 3.10
• 单卡 24GB 及以上 HBM 的 GPU（README 建议）
• 提前按 PyTorch 官方说明安装好与 CUDA 匹配的 PyTorch
• 多卡训练/推理示例中需 4 张 GPU 及对应分布式环境

安装与启动步骤

1. 1获取代码

   克隆官方仓库到本地，后续所有命令都在仓库根目录执行。

   git clone https://github.com/meta-recsys/generative-recommenders.git
   cd generative-recommenders

   复制

2. 2安装依赖

   README 推荐直接用 requirements.txt 安装，已在 Ubuntu 22.04、CUDA 12.4、Python 3.10 验证。

   pip3 install -r requirements.txt

   复制

3. 3手动装依赖（可选）

   若已按 PyTorch 官方说明装好 PyTorch，可改用这条命令补齐其余依赖。

   pip3 install gin-config pandas fbgemm_gpu torchrec tensorboard

   复制

4. 4下载并预处理数据

   创建 tmp 目录并运行预处理脚本，复现论文第 4.1.1 节的公开实验数据。

   mkdir -p tmp/ && python3 preprocess_public_data.py

   复制

5. 5多卡训练

   以 debug 数据集、4 卡规模启动训练脚本，观察日志确认无报错。

   LOCAL_WORLD_SIZE=4 WORLD_SIZE=4 python3 generative_recommenders/dlrm_v3/train/train_ranker.py --dataset debug --mode train

   复制

6. 6安装推理依赖

   推理需先克隆 MLPerf inference 仓库，并在其 loadgen 目录用 C++14 编译安装。

   git clone --recurse-submodules https://github.com/mlcommons/inference.git mlperf_inference
   cd mlperf_inference/loadgen
   CFLAGS="-std=c++14 -O3" python -m pip install .

   复制

7. 7多卡推理

   回到项目根目录，用 4 卡规模运行 dlrm_v3 的推理入口脚本。

   LOCAL_WORLD_SIZE=4 WORLD_SIZE=4 python3 generative_recommenders/dlrm_v3/inference/main.py --dataset debug

   复制

关键配置

如何确认成功

训练脚本启动后日志正常滚动、无异常报错；可结合已安装的 tensorboard 查看训练指标。

常见问题

注意事项

• README 中 CUDA_VISIBLE_DEVICES=0 python3 main.py -- 这条命令被截断，参数不完整，请勿直接照抄。
• 训练与推理示例均按 4 卡规模给出，实际卡数不同需自行调整两个环境变量。
• 数据和训练产物会写入仓库下的 tmp/ 目录，注意预留磁盘空间。
• 项目以 PyTorch 为主，务必保证 PyTorch、CUDA 12.4 与 Python 3.10 三者版本匹配。