ChatLM-mini-Chinese

环境要求

• Python 3.10（过老版本可能不兼容依赖库）
• 已安装 Git LFS（否则从 Hugging Face 下载的模型文件不可用）
• 推理：float16 加载最少 512MB 显存
• 预训练：batch_size=1、max_len=320 时最低 16GB 内存 + 4GB 显存

安装与启动步骤

1. 1安装 Python 依赖

   在项目根目录执行，按 requirements.txt 安装 transformers、accelerate、trl、peft 等依赖。

   pip install -r ./requirements.txt

   复制

2. 2换装 CUDA 版 PyTorch

   仅当 pip 装成了 CPU 版 pytorch 时需要，用官方源安装 cu118 版本。

   pip3 install torch --index-url https://download.pytorch.org/whl/cu118

   复制

3. 3用 conda 安装依赖

   不使用 pip 时的替代方案，直接按 requirements.txt 安装到当前 conda 环境。

   conda install --yes --file ./requirements.txt

   复制

4. 4下载模型权重

   先用 Git LFS 克隆仓库，再拉取 Hugging Face 上的模型权重与配置文件。

   git clone --depth 1 https://huggingface.co/charent/ChatLM-mini-Chinese

   复制

5. 5运行 SFT 微调

   单卡直接运行 sft_train.py；支持任意断点停止并继续训练。

   python sft_train.py

   复制

6. 6多卡训练

   多 GPU 时用 accelerate launch，--num_processes 填 GPU 个数。

   accelerate launch --multi_gpu --num_processes 2 sft_train.py

   复制

关键配置

如何确认成功

用 README 中的 transformers 代码（AutoTokenizer + AutoModelForSeq2SeqLM）加载 charent/ChatLM-mini-Chinese，能正常生成回复即部署成功。

常见问题

注意事项

• 本项目基于 T5 架构，采用端到端 Text-to-Text 预训练，而非 mask 掩码预测。
• 最低 4GB 显存即可预训练（batch_size=1、fp16 或 bf16），float16 推理约需 512MB 显存。
• 大数据集为流式加载，不占用内存或硬盘做缓存，可减少内存与磁盘占用。
• 下游任务微调可参考 finetune_examples 中的三元组信息抽取示例。