llm-from-scratch

从零手写Transformer，彻底搞懂LLM内部原理

这是一个韩语开源项目，对应书籍《从零开始构建LLM》（吉博出版社，2025）的代码仓库。项目旨在通过从底层实现大语言模型（LLM）来帮助学习者深入理解其工作原理，涵盖从数据准备、模型架构、训练到推理的完整流程。核心能力包括：提供逐步实现的Jupyter Notebook代码，展示如何用Python和PyTorch从零构建一个可运行的Transformer模型，包括分词、嵌入、多头注意力、层归一化、前馈网络、训练循环、文本生成等关键组件。项目强调动手实践，每个模块都有详细注释和可视化，适合想深入理解LLM内部机制的研究者、学生和工程师。目前项目处于早期阶段，星标数较少，但内容结构清晰，与书籍配套，可作为系统学习LLM的实战教程。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 129

维护状态维护中

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队rickiepark

所属国家

官网地址https://tensorflow.blog/llm-from-scratch

GitHubhttps://github.com/rickiepark/llm-from-scratch

定价模式free

价格说明开源代码仓库，Apache-2.0 许可证，完全免费，需自行部署学习。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Jupyter Notebook

技术栈/模型deep-learning,gpt-2,huggingface,large-language-models,llm,pytorch,transformer

GitHub 星标★ 129

30天Star增速

HF 下载量

上线时间2025-03-31 00:00:00

最近更新2026-09-16 00:00:00

维护状态维护中

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

代码逐步实现，从分词到训练推理，逻辑清晰，适合循序渐进学习
与正式出版书籍配套，内容经过校验，质量有保障
使用Jupyter Notebook，交互式学习，便于调试和可视化理解

不足之处

项目处于早期，文档和社区支持待观察
仅支持韩语，对非韩语用户不够友好

适用场景

深度学习初学者想系统学习LLM原理
研究人员需要参考Transformer的底层实现细节
教学场景中作为动手实验教材

替代项目

nanoGPT、minGPT、build-a-large-language-model-from-scratch

项目介绍

llm-from-scratch 是学习教育领域的开源项目，由 rickiepark 开发，2025 年首次发布。

它收录于学习教育分类，该分类目前共有 427 个项目，GitHub 星标数为 129。

项目仍在小幅维护中，最近一次代码更新于 2026-09-16。开源代码仓库，Apache-2.0 许可证，完全免费，需自行部署学习。

它主要面向的使用场景是：深度学习初学者想系统学习LLM原理。同类可对比的替代方案包括 nanoGPT、minGPT、build-a-large-language-model-from-scratch。

上一篇：llm-internals

下一篇：open-csai-wiki