hands-on-llm

单卡手搓大模型,从预训练到 RLHF 全流程跑通

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 学习教育 🍴 复刻 12 👀 关注 9
GitHub ↗
GitHub 星标 ★ 122
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费教程,无付费内容

项目预览

hands-on-llm 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类学习教育
开发团队FRS2003
定价模式🏷️完全免费
价格说明开源免费教程,无付费内容
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型cs336,deep-learning,dpo,from-scratch,grpo,hands-on,large-language-models,llama-factory,llm,llm-agent,lora,peft,pretraining,pytorch,rag,reinforcement-learning,rlhf,sft,transformer,tutorial
GitHub 星标★ 122
上线时间2026-06-25 00:00:00
代码更新2026-09-16
仓库体积7.4 MB
本站数据更新2026-11-08
维护状态维护中
收录时间2026-09-24
浏览次数1

项目介绍

hands-on-llm 是一个面向中文开发者的 LLM 全栈动手学习项目,核心目标是把大模型从理论到落地的完整链路拆解成可运行的代码与实验。它包含三大部分:一是 CS336 课程的中文精讲,帮助理解 Transformer、训练与推理原理;二是用 PyTorch 从零手写 Transformer,并支持单卡复现 Pretrain、SFT、LoRA、DPO、GRPO、RLVR 等主流训练范式;三是 PEFT、Agent、RAG 等应用落地示例,附带真实实验曲线与复现脚本。项目不依赖多卡集群,强调单卡可跑,适合想深入理解大模型训练细节、又缺少工程环境的学习者。相比只讲概念的教程,它更重视代码可执行与结果可复现,能帮你把零散知识串成一条从预训练到对齐再到应用的完整实践路径。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-24 · 当前星标 ★ 122

核心亮点

  • 覆盖 Pretrain/SFT/LoRA/DPO/GRPO/RLVR 全链路,单卡即可复现,降低硬件门槛
  • 用 PyTorch 从零实现 Transformer,配合 CS336 中文精讲,原理与代码对照清晰
  • 提供真实实验曲线和复现脚本,强调可验证结果,不是纯理论教程

不足之处

  • 项目处于早期,星标仅 125,社区生态和长期维护待观察
  • 部分高级训练范式(如 GRPO、RLVR)的文档深度和踩坑说明可能不够完善

适用场景

  • 个人开发者想系统学习大模型训练与对齐,但只有单张消费级显卡
  • 高校学生配合 CS336 课程做中文笔记与代码实践,加深理解
  • 团队内部做 LLM 技术预研,需要快速跑通 SFT/LoRA/DPO 等基线流程

替代项目

llama-factory、minGPT

上一篇:agentic-engineering-handbook

下一篇:freelingo

同类项目推荐

AI-ML-14-Hours-FREE-Course 开源

7天免费实战,零基础快速掌握AI核心基础

7 Day AI ML Fundamentals Workshop The purpose of this FREE workshop is 1. To give yo···

★ 62 2026-08-09
diffusion-models-class 开源

跟着跑一遍,从零搞懂扩散模型并上手微调

Materials for the Hugging Face Diffusion Models Course

★ 4387 2026-10-15
long-term-memory-in-ai 开源

普林斯顿课程讲义,系统学向量检索与向量数据库

Class notes for the course "Long Term Memory in AI - Vector Search and Databases" CO···

★ 324 2026-10-24
mcp-for-beginners 开源

多语言实战学 MCP,快速搭出安全 AI 工作流

This open-source curriculum introduces the fundamentals of Model Context Protocol (M···

★ 17621 2026-10-08
ai-guide 开源

一站式AI学习导航,从零基础到变现全搞定

程序员鱼皮的 AI 资源大全 + Vibe Coding 零基础教程,分享 OpenClaw 保姆级教程、大模型玩···

★ 21938 2026-08-09
autumn-recruitment 开源

从数学到LLM Agent,一条龙跑通秋招算法学习

Autumn-Recruit Algo Notes(秋招算法学习仓库),面向大模型时代的算法、工程与AI学习共建仓···

★ 303 2026-10-15
ai_goodpractice 开源

照着做就能把 AI 真正用进日常工作流

full guide to help you integrate AI in your workflow, for both beginners and experie···

★ 554 2026-10-18
AILearningGuide 开源

51 个交互实验,桌面端动手学 AI

Interactive desktop app with 58 labs covering ML fundamentals, transformers, RAG, ag···

★ 249 2026-10-25
Paper-Rebuttal-Tips 开源

看真实案例,学写论文反驳信,提升录用率

MLNLP社区用来帮助大家论文Rebuttal的整理仓库。

★ 425 2026-08-09