在苹果芯片上从零手写一个迷你 vLLM，吃透推理服务
tiny-llm 是一个面向系统工程师的 LLM 推理服务实战课程，专注于在 Apple Silicon 上构建一个精简版 vLLM + Qwen。项目通过亲手实现推理服务核心组件，帮助学习者深入理解 LLM 推理的完整流程，包括张量并行、KV Cache、连续批处理等关键概念。它解决了传统教程偏重模型使用而忽视系统实现的问题，提供从零搭建的代码和文档，让学习者能真正掌握推理服务的性能优化和工程落地。核心能力包括：基于 Apple Silicon 的硬件适配、vLLM 核心机制的简化复现、以及 Qwen 模型的实际部署。适合希望从系统层面理解 LLM 推理的工程师，也适合作为学习 vLLM 内部原理的入门教材。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1克隆课程仓库
从 GitHub 拉取 tiny-llm 课程代码到本地。README 节选未提供安装脚本或依赖清单，克隆后以仓库内文档为准。
git clone https://github.com/skyzh/tiny-llm.git2进入仓库目录
切换到克隆下来的目录，查看目录结构与文档，确认各周章节的组织方式。
cd tiny-llm3阅读学习路径
按 README 与官网的四周边学习路径规划：第 1 周从矩阵乘到文本生成，第 2 周加入 KV Cache 与优化。
4确认运行环境
课程基于 MLX arrays 与 MLX 扩展运行时，不使用高层神经网络层，请在支持 MLX 的机器上学习。
README 节选未给出启动命令或服务端口；能按课程完成 Week 1 的 MLX 数组与算子练习，即可认为环境就绪。
Q：有现成的安装或启动命令吗？
A：README 节选未提供 pip 安装、启动脚本或端口说明，具体安装方式请以 GitHub 仓库最新文档与官网为准。
Q：需要 NVIDIA GPU 吗？
A：课程围绕 Apple Silicon 与 MLX 构建，讲解的是该平台上的算子实现与推理服务机制。
Q：需要先掌握 vLLM 吗？
A：不需要。课程从数组与矩阵运算起步，逐步引入 kernel、KV Cache、连续批处理等 vLLM 核心概念。
Q：学完大概要多久？
A：课程按四周学习路径组织，第 1 周搭建 Qwen3 文本生成，第 2 周起推进 KV Cache 与各类优化。
vLLM、TinyChat、llama.cpp
tiny-llm 是学习教育领域的开源项目，由 skyzh 开发，2025 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（4,672）位列前 10%，在学习教育分类的 427 个项目里位列前 15%。
近 44 天，它的 GitHub 星标从 4,454 增加到 4,672，净增 218。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。开源课程，Apache-2.0 许可证，完全免费，可自行部署学习。
它主要面向的使用场景是：学习LLM推理服务原理，作为系统工程师的进阶课程。同类可对比的替代方案包括 vLLM、TinyChat、llama.cpp。
上一篇：happy-llm
下一篇：generative-ai
awesome-awesome-ai
开源
一站式导航AI资源，告别收藏夹吃灰
An awesome list for collecting awesome lists related to AI.
machine-learning
开源
免费学AI，从入门到实战，社区共建资源库
Learn AI together, for free. AI learning and teaching resources for everyone.
groundhog
开源
拆解 Cursor 原理，手把手教你造 AI 编程助手
Groundhog's primary purpose is to teach people how Cursor and all these other coding···
notebooks
开源
跟着最新视觉模型教程，边看边跑代码，快速上手实战
A collection of tutorials on state-of-the-art computer vision models and techniques.···