regression2chatgpt
从线性回归一路手写到大模型，边跑代码边看懂 ChatGPT
regression2chatgpt 是一套配套 Jupyter Notebook 教程代码，主题是「解构大语言模型」。它从最基础的线性回归出发，逐步推导到 Transformer、注意力机制与 ChatGPT 类模型的训练与推理原理，用可运行的代码把深度学习和大模型内部机制拆开讲清楚。项目面向想真正理解 LLM 而非只会调 API 的学习者，每个 notebook 对应一个概念，配合公式推导与可视化，帮助读者建立从回归到生成式模型的完整知识链条。核心能力包括：用最小实现演示梯度下降、反向传播、自注意力、位置编码、token 化与自回归生成；把抽象论文公式落到可执行代码上，便于边跑边改。适合作为课程配套、自学路线或教学演示材料，属于学习教育类开源项目。
项目数据
使用教程
核心亮点
- 用 Jupyter Notebook 把从回归到 Transformer 的推导做成可运行代码，概念与实现一一对应
- 覆盖注意力、位置编码、token 化、自回归生成等 LLM 关键机制，知识链条完整
- 代码量小、依赖轻，适合教学演示和读者逐行修改实验
不足之处
- 作为配套教程，缺少系统化文档与章节索引，新手需自行摸索学习顺序
- 项目早期、社区规模小，更新频率与问题响应待观察
适用场景
- 高校或培训课程中讲解大模型原理的配套实验材料
- 开发者自学 Transformer 与 ChatGPT 内部机制时动手复现
- 技术分享或内部分享中演示从回归到大模型的演进过程
替代项目
nanoGPT、minGPT、The Annotated Transformer
项目介绍
同类项目推荐
awesome-awesome-ai
开源
一站式导航AI资源，告别收藏夹吃灰
An awesome list for collecting awesome lists related to AI.
machine-learning
开源
免费学AI，从入门到实战，社区共建资源库
Learn AI together, for free. AI learning and teaching resources for everyone.
groundhog
开源
拆解 Cursor 原理，手把手教你造 AI 编程助手
Groundhog's primary purpose is to teach people how Cursor and all these other coding···
notebooks
开源
跟着最新视觉模型教程，边看边跑代码，快速上手实战
A collection of tutorials on state-of-the-art computer vision models and techniques.···