llm-architecture-from-scratch

照着代码从零手写 LLaMA、Qwen、Gemma 架构

开源 free 学习教育

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1010

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类学习教育

开发团队YeonwooSung

所属国家

官网地址

GitHubhttps://github.com/YeonwooSung/llm-architecture-from-scratch

定价模式free

价格说明开源免费，需自行部署学习

访问状态

是否开源是

开源协议BSD-3-Clause

主要语言Python

技术栈/模型gemma3,llama4,llm,moe,qwen3

GitHub 星标★ 1010

30天Star增速

HF 下载量

上线时间2026-09-16 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-19

浏览次数0

项目介绍

这是一个用 PyTorch 从零实现主流大语言模型架构的教学型开源项目，目标不是训练可用的生产模型，而是帮助学习者亲手写出 LLaMA、Qwen、Gemma、MoE 等架构的完整代码。项目覆盖 LLaMA 4、Qwen 3、Gemma 3 以及混合专家（MoE）等较新结构，把注意力机制、位置编码、前馈网络、归一化、路由等组件逐层拆开实现，让读者理解每个模块的设计动机与代码细节。相比直接读 transformers 库源码，它去掉了工程封装与兼容逻辑，代码路径更短、更聚焦架构本身，适合作为对照阅读材料。核心能力包括：多代主流架构的可运行参考实现、MoE 路由机制的直观写法、以及便于修改和实验的最小代码结构。适合想深入理解 LLM 内部结构、准备面试或做架构改造的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度：进阶约 15 分钟部署方式：本地安装 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 3 环境（项目为 Python 实现）
PyTorch（各模型参考实现基于 PyTorch，README 未标注版本要求）
具备 Transformer 基础概念（注意力、归一化、位置编码等）

安装与启动步骤

1克隆仓库

把项目源码下载到本地，README 未提供其他安装方式，源码即全部内容
```
git clone https://github.com/YeonwooSung/llm-architecture-from-scratch.git
```
2进入项目目录

后续所有操作都在仓库根目录下进行
```
cd llm-architecture-from-scratch
```
3挑选目标架构

参照 README 表格选一个模型目录，如 llama3-8b、gemma3、qwen3_32b、deepseekv3，各架构代码相互独立
4阅读对应实现

进入所选模型目录查看源码，按注意力、位置编码、前馈网络、归一化等模块逐层对照理解
```
cd llama3-8b
```
5自行准备运行环境

README 未给出依赖安装命令与入口脚本，需按目录内实际代码自行安装依赖并调用

如何确认成功

README 未提供启动校验方式；若能成功导入并实例化对应模型类、打印结构或参数量，即说明环境可用

常见问题

Q：这个项目能训练出可用的生产模型吗？

A：不能。它的定位是通过从零手写实现来深入理解现代 LLM 架构，属于教学参考代码，并非面向训练和生产部署。

Q：支持哪些模型架构？

A：README 表格列出 GPT-2 XL、Llama3-8B、Llama 3.2-3B、OlMo 2、Phi-4、DeepSeek v3、Gemma 3、xLSTM、Mistral 3.1 Small、Llama 4 Maverick、Qwen3（32B 与 235B-A22B）、SmolLM3 等。

Q：为什么找不到安装步骤和运行命令？

A：README 只提供架构实现说明与模型对照表，未给出依赖清单和运行脚本，需要自行准备 Python、PyTorch 环境并阅读目录内代码。

Q：需要下载模型权重吗？

A：README 未提供权重下载说明，仓库重点在于架构代码本身，可先不加载真实权重来阅读和调试结构。

注意事项

README 未给出依赖清单与任何运行命令，上面命令仅来自仓库地址，其余须以实际代码为准。
各模型放在独立子目录中，按需进入对应目录，不要假设存在统一的入口文件。
想了解 MoE 路由实现可重点看 DeepSeek v3、Llama 4 Maverick、Qwen3 235B-A22B 三个目录。

核心亮点

覆盖 LLaMA 4、Qwen 3、Gemma 3、MoE 等较新架构，不是只讲老版 Transformer
纯 PyTorch 实现，去掉工程封装，代码路径短，便于逐行对照理解
多架构并列实现，方便横向比较注意力、归一化和 MoE 路由的差异

不足之处

偏教学实现，缺少训练、推理优化和分布式等工程化内容
各架构实现深度和完整度可能不一致，部分细节需自行补全
缺少系统性的配套讲解文档，主要靠读代码

适用场景

准备大模型相关面试，需要讲清架构细节
想改造或魔改 LLM 结构，先找最小可运行参考
教学或读书会中对照讲解注意力与 MoE 实现

替代项目

nanoGPT、litgpt、transformers

上一篇：developer-roadmap

下一篇：没有了！