llm-from-scratch

从零手写Transformer,彻底搞懂LLM内部原理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 134 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 135
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源代码仓库,Apache-2.0 许可证,完全免费,需自行部署学习。

项目预览

llm-from-scratch 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队rickiepark
定价模式🏷️完全免费
价格说明开源代码仓库,Apache-2.0 许可证,完全免费,需自行部署学习。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型deep-learning,gpt-2,huggingface,large-language-models,llm,pytorch,transformer
GitHub 星标★ 135
上线时间2025-03-31 00:00:00
代码更新2026-08-08
仓库体积3.4 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

这是一个韩语开源项目,对应书籍《从零开始构建LLM》(吉博出版社,2025)的代码仓库。项目旨在通过从底层实现大语言模型(LLM)来帮助学习者深入理解其工作原理,涵盖从数据准备、模型架构、训练到推理的完整流程。核心能力包括:提供逐步实现的Jupyter Notebook代码,展示如何用Python和PyTorch从零构建一个可运行的Transformer模型,包括分词、嵌入、多头注意力、层归一化、前馈网络、训练循环、文本生成等关键组件。项目强调动手实践,每个模块都有详细注释和可视化,适合想深入理解LLM内部机制的研究者、学生和工程师。目前项目处于早期阶段,星标数较少,但内容结构清晰,与书籍配套,可作为系统学习LLM的实战教程。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 135

核心亮点

  • 代码逐步实现,从分词到训练推理,逻辑清晰,适合循序渐进学习
  • 与正式出版书籍配套,内容经过校验,质量有保障
  • 使用Jupyter Notebook,交互式学习,便于调试和可视化理解

不足之处

  • 项目处于早期,文档和社区支持待观察
  • 仅支持韩语,对非韩语用户不够友好

适用场景

  • 深度学习初学者想系统学习LLM原理
  • 研究人员需要参考Transformer的底层实现细节
  • 教学场景中作为动手实验教材

替代项目

nanoGPT、minGPT、build-a-large-language-model-from-scratch

上一篇:llm-internals

下一篇:open-csai-wiki

同类项目推荐

vibe-check 开源

把模糊想法变成能跑的项目,手把手带你从零到一。

By a 12-year product manager who builds 0-to-1: takes a beginner from a vague idea t···

★ 636 2026-08-09
HuggingEnvs 开源

跟着教程,从零搭建并扩展 LLM 强化学习环境,快速上手 RLHF/GRPO。

FineEnvs — RL Environments 101: building and scaling RL environments in the age of ···

★ 548 2026-08-31
llms 开源

边读原理边跑代码,把大模型从黑盒学成白盒

Large Language Models: In this repository Language models are introduced covering bo···

★ 394 2026-10-14
ai-dev-2024-ml-workshop 开源

跟着工作坊,用免费开源工具把 ML 管道部署上线并监控起来。

Materials for the AI Dev 2024 conference workshop "Deploy and Monitor ML Pipelines w···

★ 93 2026-08-09
monitoring-ml 开源

学会监控ML模型,提前发现数据漂移,避免性能衰减

Learn how to monitor ML systems to identify and mitigate sources of drift before mod···

★ 106 2026-08-09
LLM-RL-Visualized 开源

100+张原理图,一图看懂大模型与强化学习核心算法

100+ 原创 LLM / RL 原理图,《大模型算法》作者巨献!(100+ LLM/RL Algorithm Maps )

★ 5003 2026-08-09
qiaomu-simpleui 开源

把 Kindle 首页变成手机式阅读入口,划线即翻译问答

Kindle/KOReader 手机式读书首页:乔木精选资讯、划线 AI 翻译与问答、微信读书入口 | Pho···

★ 170 2026-11-02