从零手写推理模型，彻底搞懂 o1 原理
reasoning-from-scratch 是一个从零开始实现推理大语言模型（LLM）的开源教程项目，基于 PyTorch 逐步构建。它旨在帮助开发者和研究者深入理解推理模型（如 o1 类模型）的内部工作原理，通过代码和文档拆解强化学习、思维链、奖励建模等关键环节。项目解决了当前推理模型黑盒化、难以定制的问题，让用户能够亲手训练一个具备基础推理能力的模型。核心能力包括：提供完整的模型架构、训练脚本、数据生成流程，以及详细的 Jupyter Notebook 讲解，覆盖从数据准备到强化学习微调的全链路。用户可以通过该项目学习如何设计奖励函数、应用策略梯度算法，并最终得到一个可运行的推理模型。项目代码结构清晰，适合作为教学和实验基础，也支持在此基础上进行二次开发。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1克隆代码仓库
从 GitHub 获取本项目官方源码，README 给出的源码仓库即为该地址，克隆到本地即可。
git clone https://github.com/rasbt/reasoning-from-scratch.git2进入项目目录
切换到克隆下来的仓库目录，后续所有操作都在该目录内进行。
cd reasoning-from-scratch3查看官方书籍页面
README 指向 Manning 书籍页面（https://mng.bz/lZ5B），代码与书中章节一一对应，建议先浏览目录。
4打开 Jupyter 阅读代码
仓库为 Jupyter Notebook 项目，用 Jupyter 打开 .ipynb 文件按章节阅读和运行，README 未提供依赖安装命令。
jupyter notebook能成功克隆仓库，并在 Jupyter 中打开仓库内的 .ipynb 文件即视为准备完成（README 未给出运行验证方式）。
Q：必须买书才能用这个仓库吗？
A：README 说明本仓库是《Build a Reasoning Model (From Scratch)》的官方配套代码，并给出 Manning 书籍链接，建议结合书籍章节学习效果最好。
Q：README 里有安装依赖的命令吗？
A：节选中没有任何 pip/conda 安装命令或依赖清单，因此本教程未编造安装步骤，请以仓库内实际文件与书籍内容为准。
Q：这个项目能直接训练出推理模型吗？
A：README 说明书中方法用于教育目的，从预训练基础模型出发，用代码一步步添加推理能力，并包含加载已有预训练模型权重的代码。
Q：对硬件有什么要求？
A：README 未说明硬件要求；书中定位是 small-but-functional 的教学模型，实际显存/算力取决于所选章节与模型规模。
Karpathy/nanoGPT、huggingface/transformers、OpenRLHF
reasoning-from-scratch 是模型训练领域的开源项目，由 rasbt 开发，2025 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（5,272）位列前 9%，在模型训练分类的 522 个项目里位列前 10%。
近 41 天，它的 GitHub 星标从 4,965 增加到 5,272，净增 307。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。Apache-2.0 许可证，完全免费，无付费版本。
它主要面向的使用场景是：深度学习研究者快速入门推理模型。同类可对比的替代方案包括 Karpathy/nanoGPT、huggingface/transformers、OpenRLHF。
上一篇：EasyR1
下一篇：llm-foundry
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···