一条命令搞定大模型预训练、微调和部署，省时省力
LitGPT 是一个基于 PyTorch 的高性能大语言模型（LLM）训练与部署框架，由 Lightning AI 团队开发。它内置了 20 多种主流 LLM 的官方实现，包括 Llama、Mistral、Falcon 等，并提供从预训练、微调（含 LoRA/QLoRA）到推理部署的完整配方。项目旨在解决 LLM 开发中重复造轮子、训练效率低、部署复杂等问题，通过高度优化的训练策略（如 Flash Attention、混合精度）和简洁的代码结构，帮助开发者快速复现前沿模型或基于开源模型进行定制。其核心能力包括：支持多节点分布式训练、内存高效微调、模型权重转换（如 Hugging Face 格式互转）、以及轻量级推理服务。LitGPT 强调代码可读性和可扩展性，适合研究者和工程师在自有数据上高效构建生产级 LLM 应用。
1安装 LitGPT
用 pip 安装官方发布包，extra 会一并装上额外依赖；建议在虚拟环境中执行。
pip install 'litgpt[extra]'2加载模型生成文本
把示例保存为 demo.py 后运行 python demo.py；首次运行会自动下载 microsoft/phi-2 权重。
from litgpt import LLM
llm = LLM.load("microsoft/phi-2")
text = llm.generate("Fix the spelling: Every fall, the family goes to the mountains.")
print(text)3启动推理服务
litgpt serve 会自动起一个 Web 服务，供网站或应用调用；在单独终端里测试接口。
litgpt serve microsoft/phi-24部署自训模型
训练完成后，把 serve 的目标换成自己 checkpoint 目录，即可对外提供 API。
litgpt serve out/custom-model/final5准备微调数据集
按官方示例下载一份 JSON 格式指令数据集，作为后续微调的输入数据。
curl -L https://huggingface.co/datasets/ksaw008/finance_alpaca/resolve/main/finance_alpaca.json -o my_custom_dataset.json运行 python 脚本能打印出补全后的英文句子；litgpt serve 启动后终端出现服务信息且接口可访问。
Q：支持哪些模型？
A：内置 20+ 主流 LLM 的官方实现，包括 Llama、Mistral、Falcon 等，也可加载 Hugging Face 上的模型名。
Q：显存不够怎么办？
A：可降低精度（fp4/8/16/32），微调时使用 LoRA、QLoRA 或 Adapter，并可用 FSDP 做多 GPU/多节点分布式。
Q：微调具体命令在哪？
A：README 只给出概览，完整微调流程见仓库 tutorials/finetune.md 文档。
Q：怎么把模型接进自己的应用？
A：用 litgpt serve 起服务后，在另一个终端按 README 提供的查询代码测试，再把该 API 集成进产品。
Hugging Face Transformers、axolotl、LLaMA-Factory
litgpt 是模型训练领域的开源项目，由 Lightning-AI 开发，2023 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（13,679）位列前 4%，在模型训练分类的 522 个项目里位列前 3%。
近 41 天，它的 GitHub 星标从 13,611 增加到 13,679，净增 68。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-22。Apache-2.0许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：研究者快速复现最新LLM论文结果。同类可对比的替代方案包括 Hugging Face Transformers、axolotl、LLaMA-Factory。
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···