DataFlex

环境要求

• Python 3.11 及以上
• LlamaFactory 0.9.5 及以上（安装 DataFlex 时自动安装）
• 显卡环境需支持 CUDA 12.4 的 PyTorch 2.6.0
• transformers 4.55 ~ 5.6（Qwen3.5、Gemma 4 等新模型需 5.5+；ZeRO-3 下 train_from_scratch 建
• 使用 examples/deepspeed 下任意配置需额外安装 DeepSpeed

安装与启动步骤

1. 1安装 PyTorch

   先装 PyTorch，避免 pip 先解析出别的构建版本再回头替换；指定 cu124 源与 2.6.0 版本。

   pip install --index-url https://download.pytorch.org/whl/cu124 
       torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0

   复制

2. 2验证 PyTorch

   打印 torch 版本并确认 CUDA 是否可用，确保后续训练能用到 GPU。

   python -c "import torch; print(torch.__version__, torch.cuda.is_available())"

   复制

3. 3安装 DataFlex

   直接用 pip 安装发行版，核心依赖（含 LlamaFactory）会自动装好。

   pip install dataflex

   复制

4. 4源码安装（开发用）

   需要改代码时改用可编辑安装：先克隆仓库，再进目录执行 pip install -e .。

   git clone https://github.com/OpenDCAI/DataFlex.git
   cd DataFlex
   pip install -e .

   复制

5. 5安装 DeepSpeed 扩展

   deepspeed 是可选 extra，只有跑 examples/deepspeed 下的配置才需要装。

   pip install "dataflex[deepspeed]"

   复制

6. 6安装 LESS 扩展

   LESS 选择器依赖 TRAK，属于另一个可选 extra，需要时单独安装。

   pip install dataflex[less]

   复制

7. 7启动训练

   启动方式与 LLaMA-Factory 类似，这里用 LESS 选择器示例；yaml 里还要写 DataFlex 专有参数。

   dataflex-cli train examples/train_lora/selectors/less.yaml

   复制

如何确认成功

执行 dataflex-cli train 后终端持续输出训练日志、无报错即启动成功。

常见问题

注意事项

• 需要 Python 3.11 及以上，LlamaFactory 0.9.5+ 会随核心依赖自动安装。
• deepspeed extra 版本刻意低于 0.17，0.17+ 在固定 torch 上会导入失败。
• 如需在 DeepSpeed ZeRO-3 下使用 train_from_scratch，建议 transformers 5.3 及以上。
• DataFlex 的 yaml 配置需额外补充专有参数，详见官网 DataFlex-Doc。