
train-deepseek-r1
手把手从零实现 DeepSeek R1,看懂并跑通核心代码
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 805
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- NVIDIA GPU 24G+
- Python 3.10+
- HuggingFace 访问能力
安装与启动步骤
-
1克隆
复现 DeepSeek R1 的强化学习训练流程。
git clone https://github.com/FareedKhan-dev/train-deepseek-r1.git cd train-deepseek-r1 -
2装依赖
含 trl、transformers 等训练栈。
pip install -r requirements.txt -
3准备基座模型
本地跑需要能放下基座的显存,否则用量化。
huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B -
4跑小规模 RL
先用小模型验证奖励函数,再谈规模。
python train_grpo.py --model ./DeepSeek-R1-Distill-Qwen-1.5B
如何确认成功
训练日志出现 reward 曲线,且能生成带推理步骤的输出。
注意事项
- R1 的关键是 RL 而非 SFT,奖励设计决定上限。
- 全量复现成本极高,学习目的用小模型就够。
- 数据与权重都很大,先算好磁盘。
核心亮点
- 以 Jupyter Notebook 形式呈现,交互式学习体验好,适合逐步跟练
- 从零开始构建,覆盖模型架构和训练流程,帮助深入理解原理
- 代码与讲解结合,降低论文到实现的认知门槛
不足之处
- 项目处于早期阶段(789星),文档和社区支持可能不完善
- 仅提供基础实现,可能未包含分布式训练、优化技巧等生产级细节
适用场景
- 深度学习研究者快速理解 DeepSeek R1 架构
- 开发者学习大模型训练流程并动手实践
- 教学场景中作为大模型实现的案例教材
替代项目
DeepSeek-V3、LLaMA-Factory、transformers
上一篇:CAME
同类项目推荐
dParallel
开源
让扩散语言模型并行解码,推理速度翻倍
[ICLR 2026] dParallel: Learnable Parallel Decoding for dLLMs
gigaevo-core
开源
让大模型当变异器,自动迭代把程序改到更好
Evolutionary algorithm that uses Large Language Models (LLMs) to automatically impro···
kohya-colab
开源
打开 Colab 就能训自己的 SD LoRA
Accessible Google Colab notebooks for Stable Diffusion Lora training, based on the w···
SoftCoT
开源
用软思维链替代文本推理,大幅降低 LLM 推理成本
ACL'2025: SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs. and prep···
AI-Toolkit-Easy-Install
开源
Windows 上一键装好 AI 微调工具,免折腾环境直接开训
One-click Portable Windows installation of 'AI-Toolkit by Ostris'
olmoearth_pretrain
开源
用卫星数据预训练地球基础模型,开箱即用
Earth system foundation model data, training, and eval
miles_diffusion
开源
大规模扩散模型后训练与生产落地的工程框架
Miles-diffusion is an post-training framework for large-scale diffusion model traini···
Re-Align
开源
用图像检索给VLM装上“防幻觉滤镜”,生成更可信。
[EMNLP'25] A novel alignment framework that leverages image retrieval to mitigate ha···
sagify
开源
一条命令把本地模型部署到 AWS SageMaker,省心省力
LLMs and Machine Learning done easily