LLMs-from-scratch

手把手从零造出 ChatGPT，原理代码一次搞懂

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 16681 🐛 待处理 2 👀 关注 869

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 107988

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，完全免费，可自行部署学习，无付费版本。

项目预览

LLMs-from-scratch 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队rasbt

官网地址https://amzn.to/4fqvn0D

GitHubhttps://github.com/rasbt/LLMs-from-scratch

定价模式🏷️完全免费

价格说明开源项目，完全免费，可自行部署学习，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言Jupyter Notebook

技术栈/模型ai,artificial-intelligence,attention-mechanism,deep-learning,finetuning,from-scratch,generative-ai,gpt,instruction-tuning,language-model,large-language-models,llm,machine-learning,natural-language-processing,pretraining,python,pytorch,tokenizer,transformers

GitHub 星标★ 107988

上线时间2023-07-23 00:00:00

代码更新2026-11-06

仓库体积16.7 MB

本站数据更新2026-11-08

维护状态活跃

收录时间2026-08-09

浏览次数20

项目介绍

手把手教你用 PyTorch 从零实现一个 ChatGPT 级别的 LLM，逐行讲解代码与原理，是深入理解 Transformer 架构与大模型训练的最佳学习路径。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 107988

技术标签

ai artificial-intelligence attention-mechanism deep-learning finetuning

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 15 分钟部署方式：本地安装 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

已安装 Git，用于克隆代码仓库
已安装 Python 与 Jupyter Notebook / JupyterLab 运行环境
能正常访问 GitHub 的网络环境
建议配合官方书籍《Build a Large Language Model (From Scratch)》阅读代码

安装与启动步骤

1克隆代码仓库

README 给出的官方源码仓库地址，克隆到本地任意目录即可，仓库为书籍配套代码。
```
git clone https://github.com/rasbt/LLMs-from-scratch.git
```
2进入项目目录

切换到刚克隆下来的仓库根目录，后续所有操作都在此目录内进行。
```
cd LLMs-from-scratch
```
3创建虚拟环境

README 未给出具体依赖清单，先建独立 Python 虚拟环境，避免污染系统环境。
```
python -m venv .venv
```
4激活虚拟环境

Linux/macOS 用 source 激活；Windows 请改用 .venv\Scripts\activate。
```
source .venv/bin/activate
```
5启动 Jupyter

项目主体是 Jupyter Notebook，启动后在浏览器中按章节打开对应的 .ipynb 文件学习。
```
jupyter lab
```