Firefly

环境要求

• Python 环境与 pip
• PyTorch，默认调试环境为 torch==1.13、transformers==4.36
• requirements.txt 中固定的若干主要 Python 包版本
• 使用 QLoRA 训练时需相应的 GPU 显存与 CUDA 环境

安装与启动步骤

1. 1获取项目代码

   从 GitHub 克隆 Firefly 仓库到本地，README 未给出 clone 命令，此处按仓库地址补全。

   git clone https://github.com/yangjianxin1/Firefly.git
   cd Firefly

   复制

2. 2安装基础依赖

   requirements.txt 已固定主要 Python 包版本，直接执行即可满足绝大部分模型训练需求。

   pip install -r requirements.txt

   复制

3. 3按模型调整版本

   Qwen1.5 需 transformers 升级到 4.37；Gemma 需 transformers 4.38.1 且 torch==2.0.0。此处以 Qwen1.5 为例。

   pip install transformers==4.37

   复制

4. 4可选安装Unsloth

   需要 Unsloth 加速并节省显存时，安装或更新以下包，注意 torch 与 xformers 版本固定。

   pip install git+https://github.com/unslothai/unsloth.git
   pip install bitsandbytes==0.43.1
   pip install peft==0.10.0
   pip install torch==2.2.2
   pip install xformers==0.0.25.post1

   复制

5. 5Qwen1.5用Unsloth

   若要用 Unsloth 训练 Qwen1.5，需改装作者提供的 fork 版本，不要用官方包。

   pip install git+https://github.com/yangjianxin1/unsloth.git

   复制

6. 6指定GPU启动训练

   通过 CUDA_VISIBLE_DEVICES 指定显卡，torchrun 启动 QLoRA 训练脚本并读取 json 配置。示例用 0、1 号卡共 2 进程。

   CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node=2 train_qlora.py --train_args_file train_args/qlora/baichuan-7b-sft-qlora.json

   复制

关键配置

如何确认成功

README 未提供专门自检命令；训练脚本正常输出日志并进入训练迭代，即视为启动成功。

常见问题

注意事项

• 绝大部分模型在 torch==1.13、transformers==4.36 环境下调试和训练，新模型需按说明单独升级版本。
• 项目支持预训练、指令微调（SFT）、DPO，以及全量、LoRA、QLoRA 三种训练方式。
• 训练流程通过配置文件切换模型，训练时已与各官方 chat 模型的 template 对齐。
• 本项目代码、数据、模型不得用于危害社会的用途，并须遵循基座模型的商业许可。