airllm

环境要求

• Python 环境与 pip（用于安装 airllm 包）
• 一张 NVIDIA GPU，显存最低约 4GB（70B 模型），125B 约 6GB，671B 约 12GB
• 足够的磁盘空间，用于下载并保存分层转换后的模型权重
• 如需下载 meta-llama/Llama-2-7b-hf 等门控模型，需要 Hugging Face token

安装与启动步骤

1. 1安装 airllm 包

   直接用 pip 安装官方发布的 airllm 包，这是 README 给出的唯一安装方式。建议在虚拟环境中安装，避免与已有依赖冲突。

   pip install airllm

   复制

2. 2准备训练数据文件

   训练脚本通过 --data 指定 jsonl 数据文件。若不传 --data，脚本会用内置的小片段做过度拟合，仅适合验证流程。

3. 3训练 125B MoE 模型

   在仓库根目录执行脚本，用 LoRA 方式微调 Qwen 125B MoE 模型，adapter 保存在指定 pt 文件中。seq-len 与 epochs 可按需调整。

   python air_llm/examples/train_qwen38_flash_next_lora.py 
     --data my_data.jsonl 
     --seq-len 512 
     --epochs 1 
     --save-adapter qwen38-flash-next-lora.pt

   复制

4. 4训练 27B 密集模型

   如需微调 27B 密集模型，改用对应的训练脚本，参数含义一致，只需更换数据与保存的 adapter 文件名。

   python air_llm/examples/train_qwen38_lora.py 
     --data my_data.jsonl 
     --seq-len 512 
     --epochs 1 
     --save-adapter qwen38-27b-lora.pt

   复制

5. 5冒烟测试

   加上 --steps N 参数后，只处理 N 条样本就停止，适合在正式训练前快速确认环境与显存是否正常。

   python air_llm/examples/train_qwen38_flash_next_lora.py 
     --data my_data.jsonl 
     --seq-len 512 
     --epochs 1 
     --steps 1 
     --save-adapter qwen38-flash-next-lora.pt

   复制

关键配置

如何确认成功

pip install 过程无报错，并在 Python 中 import airllm 成功，即表示包已正确安装。

常见问题

注意事项

• README 节选只给出了 pip 安装与训练脚本命令，未提供推理调用的示例代码，实际使用请以仓库中的 notebooks 为准。
• 训练脚本需在仓库根目录下执行，示例数据文件名为 my_data.jsonl，请替换为自己的真实文件路径。
• prefetching 目前仅 AirLLMLlama2 支持，其他模型开启后不一定生效。
• 模型越大对显存与磁盘要求越高，建议先用小参数 + --steps 做冒烟测试再跑全量。