4小时动手搭建迷你GPT，彻底搞懂LLM原理
LLM-workshop-2024 是一个为期4小时的编码工作坊，旨在帮助开发者深入理解大型语言模型（LLM）的实现原理与实际应用。项目通过Jupyter Notebook提供交互式教程，从零开始构建一个迷你GPT模型，涵盖分词、嵌入、注意力机制、Transformer架构、预训练与微调等核心环节，并演示如何将模型应用于文本生成、对话等场景。它解决了初学者面对LLM黑盒的困惑，通过动手实践让学习者掌握模型内部工作机制，同时提供清晰的代码注释和逐步讲解，适合有一定Python基础但希望深入LLM领域的开发者快速入门。
1选择运行方式
README 提供开箱即用的云端环境，已装好所有代码示例与依赖，可直接在 GPU 上跑预训练和微调。
2克隆仓库
把教程仓库下载到本地，后续在仓库目录中打开各章节的 Notebook。
git clone https://github.com/rasbt/LLM-workshop-2024.git3进入项目目录
切换到克隆下来的仓库根目录，所有 Notebook 与 setup 说明都在这里。
cd LLM-workshop-20244按 setup 说明装环境
README 未列出具体依赖命令，请打开仓库内 setup 文件夹，按其说明配置本地运行环境。
5启动 Jupyter 打开教程
用 Jupyter 打开仓库中的 Notebook，按顺序学习分词、注意力、预训练与微调章节。
jupyter notebook云端 Studio 成功加载，或本地 Jupyter 打开仓库 Notebook 后能正常执行单元格代码。
Q：没有 GPU 能学吗？
A：可以。入门与架构讲解部分 CPU 即可运行，但预训练和微调部分需要 GPU，建议使用 README 中提供的 Lightning.ai 云端环境。
Q：不想本地配环境怎么办？
A：README 明确提供了开箱即用的云端环境链接，所有代码示例和依赖已安装好，可直接在浏览器中运行。
Q：教程内容与代码出自哪里？
A：代码基于《Build a Large Language Model From Scratch》一书，并使用了 LitGPT 库，README 中给出了对应链接。
Q：需要什么前置知识？
A：面向想理解 LLM 内部机制的开发者，需要一定 Python 基础，并了解 PyTorch 的基本用法。
Andrej Karpathy的nanoGPT、Hugging Face的Transformers教程、fast.ai的Practical Deep Learning
LLM-workshop-2024 是学习教育领域的开源项目，由 rasbt 开发，2024 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（1,116）位列前 30%，在学习教育分类中处于中上游。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。免费提供代码和教程，无在线服务，需自行部署。
它主要面向的使用场景是：开发者自学LLM原理，通过动手实践加深理解。同类可对比的替代方案包括 Andrej Karpathy的nanoGPT、Hugging Face的Transformers教程、fast.ai的Practical Deep Learn…。
上一篇：ML_Guide
下一篇：Tutorbot-Spock
awesome-awesome-ai
开源
一站式导航AI资源，告别收藏夹吃灰
An awesome list for collecting awesome lists related to AI.
machine-learning
开源
免费学AI，从入门到实战，社区共建资源库
Learn AI together, for free. AI learning and teaching resources for everyone.
groundhog
开源
拆解 Cursor 原理，手把手教你造 AI 编程助手
Groundhog's primary purpose is to teach people how Cursor and all these other coding···
notebooks
开源
跟着最新视觉模型教程，边看边跑代码，快速上手实战
A collection of tutorials on state-of-the-art computer vision models and techniques.···