ml-engineering

大模型训练推理踩坑指南，照着调优省半年时间

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 1302 👀 关注 156

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 19684

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源书籍，CC-BY-SA-4.0许可，免费阅读，无付费版本。

项目预览

ml-engineering 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类基础设施

开发团队stas00

官网地址https://stasosphere.com/machine-learning

GitHubhttps://github.com/stas00/ml-engineering

定价模式🏷️完全免费

价格说明开源书籍，CC-BY-SA-4.0许可，免费阅读，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议CC-BY-SA-4.0

主要语言Python

技术栈/模型ai,debugging,gpus,inference,large-language-models,llm,machine-learning,machine-learning-engineering,mlops,network,pytorch,scalability,slurm,storage,training,transformers

GitHub 星标★ 19684

上线时间2020-09-02 00:00:00

代码更新2026-11-04

仓库体积28.0 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数17

项目介绍

这是一本面向机器学习工程师的开放书籍，系统梳理了大模型训练与推理全流程的工程实践。它解决的核心问题是：当模型规模从百万级跃升到百亿级时，硬件选型、分布式策略、性能调优等工程细节如何落地。内容涵盖GPU/TPU硬件特性、网络拓扑（如NVLink、InfiniBand）、分布式训练框架（PyTorch/DeepSpeed/Megatron）、混合精度训练、梯度检查点、模型并行与数据并行组合、推理优化（如vLLM、TensorRT）等。书中包含大量真实案例的配置模板、故障排查清单和性能基准数据，例如如何通过调整batch size和通信协议将训练吞吐提升30%。它不同于纯理论教材，每个章节都直接对应生产环境中的具体操作，并附带可复现的代码片段。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 19684

技术标签

ai debugging inference large-language-models llm

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 5 分钟部署方式：本地安装 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

可访问 GitHub 的网络环境
本地已安装 git（用于克隆文档仓库）
任意支持 Markdown 渲染的编辑器或浏览器（用于阅读章节）
无需 Python 运行环境或额外依赖（README 未提供安装说明）

安装与启动步骤

1克隆文档仓库

把这本书的全部 Markdown 章节下载到本地，README 本身就是入口目录。
```
git clone https://github.com/stas00/ml-engineering.git
```
2进入仓库目录

切换到克隆下来的目录，后续所有阅读和查找都基于此目录。
```
cd ml-engineering
```
3查看章节结构

列出目录内容，重点看 insights 等章节文件夹与 README 中的目录条目。
```
ls -la
```
4按目录选读章节

打开 README.md 的 Table of Contents，按兴趣进入对应章节文件阅读并复制示例命令。