minimind

环境要求

• Python >= 3.10（作者实测 3.10.16）
• 已安装 PyTorch 环境，依赖见 requirements.txt
• NVIDIA GPU，作者 SFT 实测使用 RTX 3090 24GB
• CUDA 12.2（作者参考配置）
• 可访问 GitHub 与 PyPI（国内可用阿里云镜像）

安装与启动步骤

1. 1克隆仓库

   使用 --depth 1 只拉取最新一次提交，速度更快。克隆完成后进入 minimind 目录。

   git clone --depth 1 https://github.com/jingyaogong/minimind
   cd minimind

   复制

2. 2安装项目依赖

   按 requirements.txt 安装全部依赖，README 提供了阿里云 pip 镜像加速下载。

   cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple

   复制

3. 3命令行对话推理

   用 Transformers 格式加载 minimind-3 模型权重，直接在终端与模型对话。

   python eval_llm.py --load_from ./minimind-3

   复制

4. 4加载 LoRA 权重

   weight 指定基础模型类型，必须与 train_lora 训练时用的基础模型保持一致；lora_weight 指定 LoRA 权重。

   python eval_llm.py --weight full_sft --lora_weight lora_medical

   复制

5. 5合并 LoRA 权重

   把 LoRA 权重合并回基础模型，导出为新的完整模型权重，方便后续直接加载使用。

   cd scripts && python convert_model.py

   复制

6. 6可选：部署 sglang 服务

   使用 sglang 做 rollout 时需先启动推理服务，监听 8998 端口。需自行确保已安装 sglang。

   python -m sglang.launch_server --model-path ./minimind-3 --attention-backend triton --host 0.0.0.0 --port 8998

   复制

7. 7可选：安装评测工具

   安装 EleutherAI 的 lm-evaluation-harness，用于对模型做基准评测（数据集合集见 README）。

   git clone https://github.com/EleutherAI/lm-evaluation-harness
   cd lm-evaluation-harness && pip install -e .

   复制

关键配置

如何确认成功

运行 python eval_llm.py --load_from ./minimind-3 后，终端出现 提问与 ️ 模型回答，即表示模型加载并推理成功。

常见问题

注意事项

• 本项目基于 Apache 2.0 协议开源，完全免费。
• “2 小时”指 SFT 阶段在单张 NVIDIA 3090 上跑完 1 epoch 的实测耗时，“3 块钱”指对应时段的 GPU 租用成本。
• 所有核心算法代码均从 0 使用 PyTorch 原生实现，不依赖第三方高层抽象接口。
• README 节选未包含完整的预训练/SFT/RLHF 训练命令，训练流程请以仓库最新文档为准。