
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 156
核心亮点
- 以 Jupyter Notebook 组织,每个训练环节可单独运行并即时查看中间结果
- 代码透明、注释友好,适合对照理解注意力、分词和采样等核心机制
- 依赖轻量,便于在个人电脑或免费 GPU 环境上做小规模实验
不足之处
- 项目处于早期,星标和社区规模较小,缺少长期维护与问题响应记录
- 以教学演示为主,未针对大规模数据或生产级训练做工程优化
适用场景
- NLP 初学者跟着 notebook 从零实现并训练一个小型语言模型
- 高校课程或训练营把项目当作生成式模型实验课的代码模板
- 开发者用小语料快速验证分词、采样策略等想法
替代项目
nanoGPT、minGPT
同类项目推荐
Awesome-Foundation-Models
开源
一站式查找视觉语言基础模型,省时省力。
A curated list of foundation models for vision and language tasks
how-to-optim-algorithm-in-cuda
开源
手把手教你榨干GPU性能,从入门到精通CUDA优化
how to optimize some algorithm in cuda.
Liquid
开源
用语言模型统一生成图像与文本,一步到位
(Accepted by IJCV) Liquid: Language Models are Scalable and Unified Multi-modal Gene···
HLA
开源
线性注意力升级版,长序列建模更强
Official Project Page for HLA: Higher-order Linear Attention (https://arxiv.org/abs/···
Monet
开源
让 Transformer 每个专家只懂一件事,可解释性拉满
[ICLR 2025] Monet: Mixture of Monosemantic Experts for Transformers
Valen
开源
轻量多模态模型,自己训练出可校验的结构化决策
Open multimodal decision models, 0.8B to 27B, for text, images and video. Decide wit···
OmniFusion
开源
图文双模态对话,一张图加一句话,AI秒懂你
OmniFusion — a multimodal model to communicate using text and images
Awesome-LLM-Resources-List
开源
一站式收藏AI工程资源,快速找到从入门到实战的干货
A Curated Collection of resources for applied AI engineering (work in progress).
Awesome-Domain-LLM
开源
一站式找到垂直领域大模型、数据集和评测基准
收集和梳理垂直领域的开源模型、数据集及评测基准。