time-to-first-token

环境要求

• 熟悉 Python、命令行，并了解 transformers 在架构层面的用法（无需 serving、Kubernetes 或 CUDA 经验）
• 可用的 Python 环境，能用 pip 安装 vllm、guidellm、sglang
• 一块可部署模型的 GPU（README 中提到在租用的 GPU 上部署）
• Docker，用于第 8 周前的 Prometheus + Grafana 监控栈
• kind 或一个小型托管 Kubernetes 集群（第 8 周需要）

安装与启动步骤

1. 1安装推理框架依赖

   按 README 的 Setup 逐条安装 vLLM、guidellm 和 SGLang 三个 Python 包，它们是后续十周所有实验的基础。

   pip install vllm
   pip install guidellm
   pip install sglang

   复制

2. 2准备监控用 Docker 环境

   README 要求安装 Docker，用于运行 Prometheus 和 Grafana 监控栈，后续用来展示 TTFT、吞吐等指标。

3. 3准备第 8 周集群环境

   第 8 周需要 kind 或一个小型托管集群；README 未给出具体安装命令，请按所选工具的官方文档安装。

4. 4部署 OpenAI 兼容服务

   第 2 周任务：用 vLLM 的 OpenAI 兼容服务托管 Llama-3.1-8B-Instruct 或 Qwen2.5-7B，并保存启动命令供后续十周复用。README 未给出具体启动命令，需参照 vLLM 官方文档。

如何确认成功

确认能通过 OpenAI 兼容接口正常返回推理结果，并已保存可复用的服务启动命令。

常见问题

注意事项

• 整个路线共 10 周、每天 30 分钟、五十次会话，全部围绕同一个 OpenAI 兼容推理服务展开。
• README 只给出了 pip 安装命令，未提供仓库克隆、vLLM 启动参数或端口，请以各框架官方文档为准，不要照搬臆测的命令。
• 最终产物包括 Grafana 看板（TTFT、token 间延迟、吞吐、队列深度、单请求成本）、1000+ 并发的压测工具，以及 FP16/FP8/INT4、投机解码、KV 驱逐的对比基准。
• 第 7～8 周涉及成本感知路由与集群部署，需提前准备 Docker 与 kind/托管集群。