litgpt

环境要求

• Python 环境（已安装 pip，可执行 pip 命令）
• 可访问 Hugging Face 的网络（模型与数据集默认从该站下载）
• 可选 GPU：显存越大可加载的模型越大（支持 fp4/8/16/32 降低显存）
• 可选多 GPU/多节点环境：用于 FSDP 分布式训练

安装与启动步骤

1. 1安装 LitGPT

   用 pip 安装官方发布包，extra 会一并装上额外依赖；建议在虚拟环境中执行。

   pip install 'litgpt[extra]'

   复制

2. 2加载模型生成文本

   把示例保存为 demo.py 后运行 python demo.py；首次运行会自动下载 microsoft/phi-2 权重。

   from litgpt import LLM
   
   llm = LLM.load("microsoft/phi-2")
   text = llm.generate("Fix the spelling: Every fall, the family goes to the mountains.")
   print(text)

   复制

3. 3启动推理服务

   litgpt serve 会自动起一个 Web 服务，供网站或应用调用；在单独终端里测试接口。

   litgpt serve microsoft/phi-2

   复制

4. 4部署自训模型

   训练完成后，把 serve 的目标换成自己 checkpoint 目录，即可对外提供 API。

   litgpt serve out/custom-model/final

   复制

5. 5准备微调数据集

   按官方示例下载一份 JSON 格式指令数据集，作为后续微调的输入数据。

   curl -L https://huggingface.co/datasets/ksaw008/finance_alpaca/resolve/main/finance_alpaca.json -o my_custom_dataset.json

   复制

如何确认成功

运行 python 脚本能打印出补全后的英文句子；litgpt serve 启动后终端出现服务信息且接口可访问。

常见问题

注意事项

• 安装含 extra 附加依赖，首次安装体积较大，耐心等待。
• 模型与数据集默认从 Hugging Face 下载，网络不通时会失败。
• 支持 1 到 1000+ GPU/TPU 规模，单卡用户可忽略分布式相关配置。
• 本教程只依据 README 节选，未出现的参数、端口、路径请以官方文档为准。