dllm

环境要求

• Linux/Conda 环境，具备可用的 NVIDIA GPU 与 CUDA 驱动
• 已安装 conda，可创建独立 Python 环境
• PyTorch 2.6.0 + CUDA 12.4（其他 PyTorch/CUDA 版本 README 称也可用）
• 示例训练需要 8 张 GPU（ZeRO-2 配置）
• 磁盘空间用于存放模型权重与训练日志

安装与启动步骤

1. 1获取项目代码

   README 使用 pip install -e . 安装，需先把仓库下载到本地并进入根目录，后续命令都在该目录执行。

   git clone https://github.com/ZHZisZZ/dllm.git
   cd dllm

   复制

2. 2安装 CUDA 工具链

   通过 conda 安装 CUDA 12.4，作为 PyTorch 的运行基础；已有匹配 CUDA 环境可跳过。

   conda install cuda=12.4 -c nvidia

   复制

3. 3安装 PyTorch

   按 README 指定版本从官方 cu124 源安装 torch、torchvision、torchaudio，注意 index-url 不能省略。

   pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 \
       --index-url https://download.pytorch.org/whl/cu124

   复制

4. 4安装 dllm 包

   以可编辑模式安装本仓库，需在项目根目录执行；此步会拉取 transformers、peft 等依赖。

   pip install -e .

   复制

5. 5安装评测依赖

   可选步骤。若要做评测，需以可编辑模式安装 lm-evaluation-harness 子模块并带 IFEval、Math 依赖。

   pip install -e "lm-evaluation-harness[ifeval,math]"

   复制

6. 6配置 Slurm 日志

   可选步骤，仅 Slurm 用户需要：先建日志目录，再修改 scripts/train.slurm.sh 中的 partition 与 quotatype 为集群实际值。

   mkdir .logs

   复制

7. 7本地启动训练

   使用 accelerate 读取 zero2 配置，在 examples/llada 上跑 SFT，开启 4bit 量化与 LoRA 降低显存占用。

   accelerate launch \
       --config_file scripts/accelerate_configs/zero2.yaml \
       examples/llada/sft.py \
       --num_train_epochs 4 \
       --load_in_4bit True --lora True

   复制

关键配置

如何确认成功

pip install -e . 无报错即安装成功；accelerate launch 后终端持续输出训练日志和迭代进度即启动成功。

常见问题

注意事项

• README 只提供了 pip install -e .，说明它假定你已经在项目根目录，因此需先克隆仓库再安装。
• 训练示例的命令行参数需在根目录执行，换目录会导致找不到 scripts/ 和 examples/ 路径。
• Slurm 用户务必把 train.slurm.sh 里的 partition 和 quotatype 改成自己集群的值，否则任务无法提交。
• 项目依赖 transformers Trainer、peft、DeepSpeed/FSDP，安装过程可能需要较长时间且对网络有要求。