llms-from-scratch-rs

用 Rust 从零手写 GPT,边跑边懂大模型原理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 学习教育 🍴 复刻 43 🐛 待处理 12 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 342
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,书籍需另行购买

项目预览

llms-from-scratch-rs 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类学习教育
开发团队nerdai
定价模式🏷️完全免费
价格说明开源免费,书籍需另行购买
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Rust
技术栈/模型candle,gpt,llms,nlp,rust
GitHub 星标★ 342
上线时间2024-10-22 00:00:00
代码更新2026-11-02
仓库体积1.2 MB
本站数据更新2026-11-03
维护状态活跃
收录时间2026-09-16
浏览次数2

项目介绍

这是 Sebastian Raschka《Build an LLM from Scratch》一书代码的 Rust 语言移植版本,用 candle 深度学习框架重写书中从零构建 GPT 类大语言模型的全部核心环节。项目覆盖文本分词、注意力机制、Transformer 块、GPT 模型结构、预训练流程、加载预训练权重以及指令微调等完整链路,让读者在 Rust 生态中复现书中的教学实验。它解决的是原书示例以 Python/PyTorch 为主、Rust 开发者难以直接上手的问题,同时借助 Rust 的性能与类型安全特性,帮助理解张量运算和模型训练细节。核心能力包括可运行的 GPT 训练与推理代码、与书中章节对应的模块划分、基于 candle 的 GPU/CPU 后端支持,以及配套的示例数据和权重加载脚本,适合作为学习 LLM 内部原理的动手项目。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 342

技术标签

核心亮点

  • 按书章节组织代码,学习路径清晰,便于对照原书理解每个组件
  • 基于 candle 实现,兼顾 Rust 性能与跨平台,可跑 CPU 和 GPU
  • 覆盖分词、注意力、预训练到指令微调的完整流程,不止是玩具示例

不足之处

  • 项目处于早期,文档和注释相对简略,新手直接阅读源码有门槛
  • 社区规模和生态尚小,遇到问题可参考的讨论和案例有限

适用场景

  • Rust 开发者想系统学习大语言模型内部原理
  • 高校或培训课程用 Rust 讲授 LLM 从零实现
  • 需要把 GPT 训练流程嵌入 Rust 生产管线的工程验证

替代项目

nanoGPT、minGPT

上一篇:llm-agents-from-scratch

下一篇:LLMs-cookbook

同类项目推荐

notebooks 开源

跟着最新视觉模型教程,边看边跑代码,快速上手实战

A collection of tutorials on state-of-the-art computer vision models and techniques.···

★ 9735 2026-08-10
ARIS-in-AI-Offer 开源

AI 秋招面试速查,单文件离线看,学术履历自动验真

Bilingual (中文+EN) ML / LLM / diffusion / agent interview cheat sheets for AI 秋招 ···

★ 633 2026-08-09
HNN 开源

神经网络到底咋运转?手把手拆给你看,小白也能懂

A step-by-step walkthrough of the inner workings of a simple neural network. The goa···

★ 31 2026-08-09
deep-learning-drizzle 开源

一站式找到全球顶尖AI课程视频,系统学习深度学习

Drench yourself in Deep Learning, Reinforcement Learning, Machine Learning, Computer···

★ 12977 2026-08-23
LLMBook-zh.github.io 开源

免费在线阅读,系统掌握大语言模型核心技术

《大语言模型》作者:赵鑫,李军毅,周昆,唐天一,文继荣

★ 4618 2026-08-09
machine-learning-models 开源

阿拉伯语学AI,边看边练上手快

An attempt to spread knowledge about machine learning and artificial intelligence to···

★ 82 2026-08-09
Machine-Learning 开源

跟着书跑代码,把机器学习从公式变成直觉

Material related to my book Intuitive Machine Learning. Some of this material is als···

★ 124 2026-10-05
codementor-ai-platform 开源

写代码卡壳了?AI 教练实时盯着,边写边纠错边进步

AI-powered programming learning platform: adaptive tutoring, real-time code executio···

★ 22 2026-08-09