how-to-train-your-gpt

手把手从零写GPT，每行代码都讲透

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 505 🐛 待处理 1 👀 关注 26

GitHub ↗

GitHub 星标 ★ 4174

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

how-to-train-your-gpt 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队raiyanyahya

GitHubhttps://github.com/raiyanyahya/how-to-train-your-gpt

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Jupyter Notebook

技术栈/模型attention-mechanism,deep-learning,educational,from-scratch,gpt,language-model,llama,llm,machine-learning,natural-language-processing,python,pytorch,tokenisation,transformers,tutorial

GitHub 星标★ 4174

上线时间2026-05-03 00:00:00

代码更新2026-10-26

仓库体积274 KB

本站数据更新2026-11-08

维护状态较活跃

收录时间2026-08-09

浏览次数5

项目介绍

这是一个从零开始构建现代大语言模型（LLM）的教学项目，以Jupyter Notebook形式呈现，每一行代码都有详细注释，并用通俗易懂的方式解释，适合初学者和希望深入理解LLM内部机制的开发者。项目覆盖了从数据准备、模型架构、训练循环到推理的完整流程，帮助用户理解Transformer、注意力机制、分词、优化器等核心概念。它解决的是LLM学习资源过于抽象或黑盒的问题，通过手把手实现一个可运行的GPT模型，让学习者真正掌握LLM的工作原理。核心能力包括：提供完整可运行的代码、逐行注释、直观的可视化解释，以及从零构建的实践路径。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4174

技术标签

attention-mechanism deep-learning educational gpt language-model

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 10 分钟部署方式：本地安装 5 步

环境要求

已安装 Python 环境与 pip（README 全程使用 pip 安装依赖）
已安装 Jupyter Notebook
PyTorch（README 给出 CPU 版安装源，GPU 版需按其提示另选）
依赖包：tiktoken、numpy、datasets、matplotlib
能联网访问 GitHub 或直接使用 Google Colab

安装与启动步骤

1获取项目代码

把仓库克隆到本地，或直接点击 README 中的 Colab 徽章，在浏览器打开 notebooks/colab_train.ipynb。
```
git clone https://github.com/raiyanyahya/how-to-train-your-gpt.git
```
2进入项目目录

克隆完成后进入仓库根目录，notebooks 目录下存放各章节和主题讲解文件。
```
cd how-to-train-your-gpt
```
3安装依赖

README 提供的 CPU 版一键安装命令，已包含 jupyter、tiktoken、torch、numpy、datasets、matplotlib。
```
pip install jupyter tiktoken torch numpy datasets matplotlib --index-url https://download.pytorch.org/whl/cpu
```
4启动 Jupyter

启动后在浏览器中打开 notebooks 目录下的章节笔记本，按章节顺序逐格运行。
```
jupyter notebook
```
5按章节学习

从第一章开始依次运行 notebook，逐行阅读注释，理解分词、注意力、训练循环与推理。