Mini-LLM

小算力复刻主流大模型架构，单卡跑通训练到推理

Mini-LLM 是一个面向学习与复现的轻量级大语言模型项目，目标是在有限算力条件下复刻主流开源模型架构，实现参数量约 100M-200M 的迷你模型。它解决的是个人开发者或小团队难以承担大模型训练成本、又希望完整走通预训练到推理流程的问题。核心能力包括：按主流架构（如类 LLaMA 结构）搭建可训练的小模型，提供数据准备、训练脚本与推理示例，让使用者在单卡或少量 GPU 上完成端到端实验。项目用 Python 实现，代码量相对可控，适合作为理解 Transformer 内部机制、注意力实现、位置编码和分词流程的教学样本。相比直接调用 API，它更强调动手复现与参数调优，能帮助研究者快速验证架构改动或训练策略，而不必依赖大规模集群。