nano-vllm

轻量跑大模型，看懂推理全流程

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 2839 🐛 待处理 108 👀 关注 86

GitHub ↗

GitHub 星标 ★ 16362

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队GeeeekExplorer

GitHubhttps://github.com/GeeeekExplorer/nano-vllm

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型deep-learning,inference,llm,nlp,pytorch,transformer

GitHub 星标★ 16362

上线时间2025-06-09 00:00:00

代码更新2026-04-26

仓库体积478 KB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

nano-vllm 是一个轻量级的大语言模型推理引擎，旨在以极简的代码实现 vLLM 的核心功能。它解决了 vLLM 等大型推理框架依赖重、部署复杂的问题，让开发者可以快速理解 LLM 推理的完整流程，并在资源受限的环境中高效运行模型。核心能力包括：支持连续批处理（continuous batching）、PagedAttention 等关键优化技术，提供简洁的 API 接口，方便二次开发和教学研究。项目代码结构清晰，适合作为学习 LLM 推理原理的参考实现，同时也为生产环境提供了一种轻量级替代方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 16362

技术标签

deep-learning inference llm nlp pytorch

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 20 分钟部署方式：库/依赖 4 步

环境要求

Python 环境与 pip（README 未指定具体版本）
已安装 PyTorch，模型推理依赖（技术栈含 pytorch）
已安装 huggingface-cli，用于下载模型权重
可用的 NVIDIA GPU（README 基准测试使用 RTX 4070 Laptop 8GB）
足够的磁盘空间存放模型权重（示例为 Qwen3-0.6B）

安装与启动步骤

1安装 nano-vllm

README 唯一给出的安装方式：直接从 GitHub 仓库通过 pip 安装，无需 clone 源码。
```
pip install git+https://github.com/GeeeekExplorer/nano-vllm.git
```

2下载模型权重

用 huggingface-cli 把 Qwen3-0.6B 权重拉到本地目录，--resume-download 支持断点续传。

huggingface-cli download --resume-download Qwen/Qwen3-0.6B --local-dir ~/huggingface/Qwen3-0.6B/ --local-dir-use-symlinks False

3编写调用脚本

按 README 示例导入 LLM 与 SamplingParams，把 /YOUR/MODEL/PATH 换成上一步的本地权重目录。

from nanovllm import LLM, SamplingParams
llm = LLM("/YOUR/MODEL/PATH", enforce_eager=True, tensor_parallel_size=1)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256)
prompts = ["Hello, Nano-vLLM."]
outputs = llm.generate(prompts, sampling_params)
outputs[0]["text"]

4运行示例脚本

仓库内 example.py 已给出完整用法，确认其中模型路径为本地真实路径后直接执行。
```
python example.py
```

关键配置

配置项	必填	说明	示例
`模型路径（LLM 第一个参数）`	是	指向本地模型权重目录，必须替换为真实路径	`~/huggingface/Qwen3-0.6B/`
`enforce_eager`	是	示例中设为 True，关闭图捕获等激进优化以便运行	`True`
`tensor_parallel_size`	是	张量并行份数，示例单卡设为 1	`1`
`temperature`	否	采样温度，值越高输出越随机	`0.6`
`max_tokens`	否	单条生成的最大 token 数	`256`