LLMs-from-scratch

手把手从零造出 ChatGPT，原理代码一次搞懂

手把手教你用 PyTorch 从零实现一个 ChatGPT 级别的 LLM，逐行讲解代码与原理，是深入理解 Transformer 架构与大模型训练的最佳学习路径。

开源 开源免费 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗

项目数据

分类开源模型
开发团队rasbt
所属国家
官网地址https://amzn.to/4fqvn0D
GitHubhttps://github.com/rasbt/LLMs-from-scratch
定价模式开源免费
价格区间
是否开源是
开源协议NOASSERTION
主要语言Jupyter Notebook
技术栈/模型ai,artificial-intelligence,attention-mechanism,deep-learning,finetuning,from-scratch,generative-ai,gpt,instruction-tuning,language-model
GitHub 星标★ 101538
30天Star增速
HF 下载量
上线时间2023-07-23 00:00:00
最近更新2026-08-09 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数0

核心亮点

    不足之处

      适用场景

        替代项目

        项目介绍

        LLMs-from-scratch 是一个开源模型领域的开源项目，官方简介：Implement a ChatGPT-like LLM in PyTorch from scratch, step by step。项目使用 Jupyter Notebook 开发，在 GitHub 上获得 101538 星标。

        上一篇：graphify

        下一篇：ponytail

        同类项目推荐

        minimind 开源

        「大模型」2小时完全从0训练64M的小参数LLM！Train a 64M-parameter LLM from scratch in ···

        ★ 54472 2026-08-09
        KAG 开源

        KAG is a logical form-guided reasoning and retrieval framework based on OpenSPG engi···

        ★ 8962 2026-08-09
        PocketFlow 开源

        Pocket Flow: 100-line LLM framework. Let Agents build Agents!

        ★ 11085 2026-08-09
        mem0 开源

        Universal memory layer for AI Agents

        ★ 62844 2026-08-09