LLMs-from-scratch

手把手从零造出 ChatGPT，原理代码一次搞懂

手把手教你用 PyTorch 从零实现一个 ChatGPT 级别的 LLM，逐行讲解代码与原理，是深入理解 Transformer 架构与大模型训练的最佳学习路径。

开源开源免费开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 101953

维护状态活跃

是否开源是

定价模式开源免费

项目数据

分类开源模型

开发团队rasbt

所属国家

官网地址https://amzn.to/4fqvn0D

GitHubhttps://github.com/rasbt/LLMs-from-scratch

定价模式开源免费

价格区间

是否开源是

开源协议NOASSERTION

主要语言Jupyter Notebook

技术栈/模型ai,artificial-intelligence,attention-mechanism,deep-learning,finetuning,from-scratch,generative-ai,gpt,instruction-tuning,language-model,large-language-models,llm,machine-learning,natural-language-processing,pretraining,python,pytorch,tokenizer,transformers

GitHub 星标★ 101953

30天Star增速

HF 下载量

上线时间2023-07-23 00:00:00

最近更新2026-08-09 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

核心亮点

从零逐行实现ChatGPT类LLM，覆盖数据预处理、注意力机制、预训练、指令微调等全流程，教学路径清晰
配合作者出版的《Build a Large Language Model from Scratch》书籍，代码与章节一一对应，知识点拆解细致
项目拥有超过10万星标，社区反馈活跃，Issue讨论和更新频繁，错误修正及时

不足之处

定位为教学示例，代码优化和工程化程度不足，不直接适用于生产环境部署
依赖作者个人讲解顺序，读者需要投入大量时间跟踪逐步实现，对初学者有一定门槛
部分高级主题（如多模态、分布式训练、模型并行）未深入涉及，覆盖面相对有限

适用场景

想系统学习大语言模型内部原理的开发者或研究人员
作为高校或培训机构深度学习与NLP课程的动手实践教材
需要快速搭建可运行的小型GPT类模型以验证研究想法或教学演示

替代项目

karpathy/nanoGPT、karpathy/minGPT、karpathy/LLM101n

项目介绍

LLMs-from-scratch 是一个开源模型领域的开源项目，官方简介：Implement a ChatGPT-like LLM in PyTorch from scratch, step by step。项目使用 Jupyter Notebook 开发，在 GitHub 上获得 101538 星标。

上一篇：graphify

下一篇：ponytail