llm-inference-at-scale

把大模型从能跑到稳定省钱的实战手册

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 256

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类基础设施

开发团队harshuljain13

所属国家

官网地址

GitHubhttps://github.com/harshuljain13/llm-inference-at-scale

定价模式free

价格说明开源免费，无在线服务

访问状态

是否开源是

开源协议NOASSERTION

主要语言Jupyter Notebook

技术栈/模型

GitHub 星标★ 256

30天Star增速

HF 下载量

上线时间2026-05-18 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-15

浏览次数0

项目介绍

llm-inference-at-scale 是一本面向工程实践的生产级 LLM 推理服务手册，以 Jupyter Notebook 形式组织，把大模型上线过程中最容易被忽视的容量规划、延迟与吞吐权衡、批处理策略、KV 缓存管理、量化与并行部署等主题拆成可运行、可复现的章节。它解决的核心问题是：很多团队能把模型跑起来，却不知道如何稳定、经济地服务真实流量。项目不提供框架，而是给出决策依据和实测数据，帮助读者理解不同配置对首 token 延迟、每 token 延迟、显存占用和成本的影响。核心能力包括推理性能基准方法、连续批处理与调度讲解、显存优化手段对比、多 GPU/多节点部署思路，以及面向生产环境的监控与容量估算建议。适合作为团队内部培训材料或架构选型参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

以可运行 Notebook 呈现，每章可复现实验数据，不是纯理论文章
覆盖容量规划、批处理、KV 缓存、量化、并行部署等生产关键决策点
聚焦延迟、吞吐、显存和成本之间的真实权衡，适合架构选型参考

不足之处

项目仍处早期，章节覆盖面和更新频率有待观察
以 Notebook 为主，缺少可直接集成的工程代码或自动化工具

适用场景

团队准备把大模型推理服务上线，需要做容量和成本估算
架构师对比连续批处理、量化、张量并行等方案的实际收益
工程师内部培训，系统学习生产级 LLM 服务的性能调优思路

替代项目

vllm、TensorRT-LLM

上一篇：binary-mlc-llm-libs

下一篇：videodb-python