llm-inference-handbook

一册看懂 LLM 推理全流程，选型调优不再靠猜

llm-inference-handbook 是一个用 TypeScript 编写的开源知识手册，系统梳理大语言模型推理（LLM Inference）的全流程知识。它解决的是 LLM 推理领域资料零散、术语混乱、工程与算法脱节的问题，把从模型加载、KV Cache、批处理（batching）、量化、并行策略到推理引擎选型等关键主题集中整理成可查阅的文档型项目。核心能力包括：以结构化章节讲解推理基础设施与优化手段，覆盖吞吐、延迟、显存等核心指标的权衡逻辑，并给出常见推理框架的对比与适用场景。项目定位偏学习与决策参考，适合工程师在搭建或调优推理服务前快速建立全局认知，也适合团队内部作为技术选型的入门材料。当前处于早期阶段，星标约 420，内容仍在持续补充中。