tiny-vllm

用 C++/CUDA 手写一个能跑的迷你 vLLM

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 102 👀 关注 6

GitHub ↗

GitHub 星标 ★ 1181

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，无在线服务，需自行编译部署

项目预览

项目数据

分类基础设施

开发团队jmaczan

GitHubhttps://github.com/jmaczan/tiny-vllm

定价模式🏷️完全免费

价格说明开源免费，无在线服务，需自行编译部署

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言C++

技术栈/模型ai,attention,batching,course,cpp,cuda,hpc,inference,llm,llm-inference,pagedattention,tiny-vllm,vllm

GitHub 星标★ 1181

上线时间2026-02-09 00:00:00

代码更新2026-11-01

仓库体积1.0 MB

本站数据更新2026-11-04

维护状态活跃

收录时间2026-09-16

浏览次数1

项目介绍

tiny-vllm 是一个用 C++ 与 CUDA 从零实现的高性能 LLM 推理引擎教学项目，定位为 vLLM 的精简版。它解决的核心问题是：主流推理框架（如 vLLM）代码量大、抽象层多，初学者难以看清 PagedAttention、连续批处理、KV Cache 管理等关键机制的真实实现。该项目把推理引擎拆成可读的 C++/CUDA 代码，覆盖模型权重加载、注意力计算、分页显存管理、请求调度与批处理等环节，让开发者能亲手编译、运行并修改一个可工作的推理系统。它强调性能与工程细节，而非封装成开箱即用的服务，适合作为学习 HPC 与 LLM 推理底层原理的实践素材，也可作为自研推理引擎的起点参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 1181

技术标签

ai attention course cpp cuda

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：高级约 20 分钟部署方式：本地安装 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

支持 CUDA 的 NVIDIA GPU（项目全部计算均用 CUDA kernel 实现）
CUDA 工具链与 C++ 编译器（项目为 C++/CUDA 实现，需自行编译）
Safetensors 格式的 Llama 3.2 1B Instruct 模型权重
Git（用于克隆仓库）

安装与启动步骤

1克隆仓库

从 GitHub 拉取 tiny-vllm 源码，仓库同时包含推理服务完整源码和配套实现课程。
```
git clone https://github.com/jmaczan/tiny-vllm.git
cd tiny-vllm
```
2通读课程目录

README 目录列出了从 LLM/推理服务概念、技术前置知识到 Safetensors、bfloat16、显存等章节，按顺序阅读再动手。
3准备 CUDA 环境

确认机器有 NVIDIA GPU，并自行安装可编译 C++/CUDA 的编译环境；README 未给出具体安装命令，请按官方文档配置。
4准备模型权重

准备 Safetensors 格式的 Llama 3.2 1B Instruct 权重，项目仅声明支持从 Safetensors 加载该模型。
5按章节实现并编译

跟着课程章节逐步补齐前向计算、KV Cache、分页显存管理等模块并编译运行；README 未提供统一构建命令，需按各章节指引操作。