train-deepseek-r1

手把手从零实现 DeepSeek R1,看懂并跑通核心代码

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 131 🐛 待处理 6 👀 关注 13
GitHub ↗
GitHub 星标 ★ 805
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可自由使用和部署,无付费版本。

项目预览

train-deepseek-r1 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队FareedKhan-dev
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型chatgpt,deepseek-r1,large-language-models,llm,openai
GitHub 星标★ 805
上线时间2025-02-14 00:00:00
代码更新2025-03-21
仓库体积177 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

这是一个从零开始构建 DeepSeek R1 的开源项目,使用 Jupyter Notebook 形式逐步讲解和实现。它旨在帮助开发者和研究者深入理解 DeepSeek R1 的架构和训练过程,解决从论文到代码的落地难题。项目核心能力包括:提供完整的模型实现代码、训练流程说明、以及关键组件的详细解析,让用户能够亲手复现和实验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 805

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 45 分钟 部署方式:本地安装 4 步

环境要求

  • NVIDIA GPU 24G+
  • Python 3.10+
  • HuggingFace 访问能力

安装与启动步骤

  1. 1克隆

    复现 DeepSeek R1 的强化学习训练流程。

    git clone https://github.com/FareedKhan-dev/train-deepseek-r1.git
    cd train-deepseek-r1
  2. 2装依赖

    含 trl、transformers 等训练栈。

    pip install -r requirements.txt
  3. 3准备基座模型

    本地跑需要能放下基座的显存,否则用量化。

    huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
  4. 4跑小规模 RL

    先用小模型验证奖励函数,再谈规模。

    python train_grpo.py --model ./DeepSeek-R1-Distill-Qwen-1.5B

如何确认成功

训练日志出现 reward 曲线,且能生成带推理步骤的输出。

注意事项

  • R1 的关键是 RL 而非 SFT,奖励设计决定上限。
  • 全量复现成本极高,学习目的用小模型就够。
  • 数据与权重都很大,先算好磁盘。

核心亮点

  • 以 Jupyter Notebook 形式呈现,交互式学习体验好,适合逐步跟练
  • 从零开始构建,覆盖模型架构和训练流程,帮助深入理解原理
  • 代码与讲解结合,降低论文到实现的认知门槛

不足之处

  • 项目处于早期阶段(789星),文档和社区支持可能不完善
  • 仅提供基础实现,可能未包含分布式训练、优化技巧等生产级细节

适用场景

  • 深度学习研究者快速理解 DeepSeek R1 架构
  • 开发者学习大模型训练流程并动手实践
  • 教学场景中作为大模型实现的案例教材

替代项目

DeepSeek-V3、LLaMA-Factory、transformers

上一篇:CAME

下一篇:AAAI2025_MIA-Tuner

同类项目推荐

dParallel 开源

让扩散语言模型并行解码,推理速度翻倍

[ICLR 2026] dParallel: Learnable Parallel Decoding for dLLMs

★ 68 2026-08-09
gigaevo-core 开源

让大模型当变异器,自动迭代把程序改到更好

Evolutionary algorithm that uses Large Language Models (LLMs) to automatically impro···

★ 127 2026-09-15
kohya-colab 开源

打开 Colab 就能训自己的 SD LoRA

Accessible Google Colab notebooks for Stable Diffusion Lora training, based on the w···

★ 823 2026-09-18
SoftCoT 开源

用软思维链替代文本推理,大幅降低 LLM 推理成本

ACL'2025: SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs. and prep···

★ 96 2026-08-09
AI-Toolkit-Easy-Install 开源

Windows 上一键装好 AI 微调工具,免折腾环境直接开训

One-click Portable Windows installation of 'AI-Toolkit by Ostris'

★ 542 2026-08-09
olmoearth_pretrain 开源

用卫星数据预训练地球基础模型,开箱即用

Earth system foundation model data, training, and eval

★ 365 2026-09-14
miles_diffusion 开源

大规模扩散模型后训练与生产落地的工程框架

Miles-diffusion is an post-training framework for large-scale diffusion model traini···

★ 119 2026-10-29
Re-Align 开源

用图像检索给VLM装上“防幻觉滤镜”,生成更可信。

[EMNLP'25] A novel alignment framework that leverages image retrieval to mitigate ha···

★ 52 2026-08-09
sagify 开源

一条命令把本地模型部署到 AWS SageMaker,省心省力

LLMs and Machine Learning done easily

★ 444 2026-08-09