hands-on-llm

单卡手搓大模型，从预训练到 RLHF 全流程跑通

hands-on-llm 是一个面向中文开发者的 LLM 全栈动手学习项目，核心目标是把大模型从理论到落地的完整链路拆解成可运行的代码与实验。它包含三大部分：一是 CS336 课程的中文精讲，帮助理解 Transformer、训练与推理原理；二是用 PyTorch 从零手写 Transformer，并支持单卡复现 Pretrain、SFT、LoRA、DPO、GRPO、RLVR 等主流训练范式；三是 PEFT、Agent、RAG 等应用落地示例，附带真实实验曲线与复现脚本。项目不依赖多卡集群，强调单卡可跑，适合想深入理解大模型训练细节、又缺少工程环境的学习者。相比只讲概念的教程，它更重视代码可执行与结果可复现，能帮你把零散知识串成一条从预训练到对齐再到应用的完整实践路径。

开源 free 学习教育

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 125

维护状态较活跃

是否开源是

定价模式 free

项目数据

分类学习教育

开发团队FRS2003

所属国家

官网地址

GitHubhttps://github.com/FRS2003/hands-on-llm

定价模式free

价格说明开源免费教程，无付费内容

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型cs336,deep-learning,dpo,from-scratch,grpo,hands-on,large-language-models,llama-factory,llm,llm-agent,lora,peft,pretraining,pytorch,rag,reinforcement-learning,rlhf,sft,transformer,tutorial

GitHub 星标★ 125

30天Star增速

HF 下载量

上线时间2026-06-25 00:00:00

最近更新2026-09-22 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-24

浏览次数0

使用教程

核心亮点

覆盖 Pretrain/SFT/LoRA/DPO/GRPO/RLVR 全链路，单卡即可复现，降低硬件门槛
用 PyTorch 从零实现 Transformer，配合 CS336 中文精讲，原理与代码对照清晰
提供真实实验曲线和复现脚本，强调可验证结果，不是纯理论教程

不足之处

项目处于早期，星标仅 125，社区生态和长期维护待观察
部分高级训练范式（如 GRPO、RLVR）的文档深度和踩坑说明可能不够完善

适用场景

个人开发者想系统学习大模型训练与对齐，但只有单张消费级显卡
高校学生配合 CS336 课程做中文笔记与代码实践，加深理解
团队内部做 LLM 技术预研，需要快速跑通 SFT/LoRA/DPO 等基线流程

替代项目

llama-factory、minGPT

项目介绍

hands-on-llm 是学习教育领域的开源项目，由 FRS2003 开发，是 2026 年新上线的项目。

它收录于学习教育分类，该分类目前共有 427 个项目，GitHub 星标数为 125。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-22。开源免费教程，无付费内容。

它主要面向的使用场景是：个人开发者想系统学习大模型训练与对齐，但只有单张消费级显卡。同类可对比的替代方案包括 llama-factory、minGPT。

上一篇：agentic-engineering-handbook

下一篇：freelingo