LLM-workshop-2024

4小时动手搭建迷你GPT，彻底搞懂LLM原理

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 387 🐛 待处理 3 👀 关注 44

GitHub ↗

GitHub 星标 ★ 1122

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，免费提供代码和教程，无在线服务，需自行部署。

项目预览

LLM-workshop-2024 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队rasbt

GitHubhttps://github.com/rasbt/LLM-workshop-2024

定价模式🏷️完全免费

价格说明开源项目，免费提供代码和教程，无在线服务，需自行部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Jupyter Notebook

技术栈/模型large-language-models,llm,pytorch

GitHub 星标★ 1122

上线时间2024-06-25 00:00:00

代码更新2025-01-13

仓库体积19.2 MB

本站数据更新2026-11-10

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

LLM-workshop-2024 是一个为期4小时的编码工作坊，旨在帮助开发者深入理解大型语言模型（LLM）的实现原理与实际应用。项目通过Jupyter Notebook提供交互式教程，从零开始构建一个迷你GPT模型，涵盖分词、嵌入、注意力机制、Transformer架构、预训练与微调等核心环节，并演示如何将模型应用于文本生成、对话等场景。它解决了初学者面对LLM黑盒的困惑，通过动手实践让学习者掌握模型内部工作机制，同时提供清晰的代码注释和逐步讲解，适合有一定Python基础但希望深入LLM领域的开发者快速入门。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1122

技术标签

large-language-models llm pytorch

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 10 分钟部署方式：本地安装 5 步

环境要求

Python 基础与 PyTorch 使用经验
可运行 Jupyter Notebook 的环境
预训练与微调环节需要 GPU（云端环境已提供）
本地运行需按仓库 setup 文件夹内的说明配置依赖

安装与启动步骤

1选择运行方式

README 提供开箱即用的云端环境，已装好所有代码示例与依赖，可直接在 GPU 上跑预训练和微调。
2克隆仓库

把教程仓库下载到本地，后续在仓库目录中打开各章节的 Notebook。
```
git clone https://github.com/rasbt/LLM-workshop-2024.git
```
3进入项目目录

切换到克隆下来的仓库根目录，所有 Notebook 与 setup 说明都在这里。
```
cd LLM-workshop-2024
```
4按 setup 说明装环境

README 未列出具体依赖命令，请打开仓库内 setup 文件夹，按其说明配置本地运行环境。
5启动 Jupyter 打开教程

用 Jupyter 打开仓库中的 Notebook，按顺序学习分词、注意力、预训练与微调章节。
```
jupyter notebook
```