大模型训练推理踩坑指南，照着调优省半年时间
这是一本面向机器学习工程师的开放书籍，系统梳理了大模型训练与推理全流程的工程实践。它解决的核心问题是：当模型规模从百万级跃升到百亿级时，硬件选型、分布式策略、性能调优等工程细节如何落地。内容涵盖GPU/TPU硬件特性、网络拓扑（如NVLink、InfiniBand）、分布式训练框架（PyTorch/DeepSpeed/Megatron）、混合精度训练、梯度检查点、模型并行与数据并行组合、推理优化（如vLLM、TensorRT）等。书中包含大量真实案例的配置模板、故障排查清单和性能基准数据，例如如何通过调整batch size和通信协议将训练吞吐提升30%。它不同于纯理论教材，每个章节都直接对应生产环境中的具体操作，并附带可复现的代码片段。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1克隆文档仓库
把这本书的全部 Markdown 章节下载到本地，README 本身就是入口目录。
git clone https://github.com/stas00/ml-engineering.git2进入仓库目录
切换到克隆下来的目录，后续所有阅读和查找都基于此目录。
cd ml-engineering3查看章节结构
列出目录内容，重点看 insights 等章节文件夹与 README 中的目录条目。
ls -la4按目录选读章节
打开 README.md 的 Table of Contents，按兴趣进入对应章节文件阅读并复制示例命令。
本地打开 README.md 能看到目录，并能进入目录中列出的章节文件，即表示获取成功。
Q：这个项目需要 pip install 安装依赖吗？
A：不需要。README 没有给出任何安装命令，它是一本开放的工程文档书籍，克隆下来直接阅读 Markdown 文件即可。
Q：书里的命令能直接复制执行吗？
A：README 说明内容包含大量脚本和可直接复制粘贴的命令，用于快速解决训练与推理中的实际问题，但需自行核对硬件与框架版本。
Q：没有 GPU 或集群能看吗？
A：可以。内容面向 LLM/VLM 训练工程师和运维人员，涉及 GPU、网络、分布式训练等知识，先阅读再对照自己的环境实践。
Q：有在线版本吗？
A：项目提供了在线站点 https://stasosphere.com/machine-learning ，也可以直接在 GitHub 网页上阅读各章节。
The Full Stack、Awesome LLM Engineering、Practical Deep Learning for Coders
ml-engineering 是模型训练领域的开源项目，由 stas00 开发，2020 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（19,032）位列前 3%，在模型训练分类的 522 个项目里位列前 2%。
近 41 天，它的 GitHub 星标从 18,601 增加到 19,032，净增 431。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-22。开源书籍，CC-BY-SA-4.0许可，免费阅读，无付费版本。
它主要面向的使用场景是：企业搭建大模型训练集群时进行硬件选型和网络规划。同类可对比的替代方案包括 The Full Stack、Awesome LLM Engineering、Practical Deep Learning for Coders。
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···