项目预览
项目数据
分类学习教育
开发团队amitshekhariitbhu
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Markdown
技术栈/模型inference-engineering,inference-optimization,large-language-models,llm,llm-engineering,llm-inference,llms
GitHub 星标★ 405
上线时间2026-08-18 00:00:00
代码更新2026-11-09
仓库体积101 KB
本站数据更新2026-11-10
维护状态活跃
收录时间2026-09-26
浏览次数2
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-26 · 当前星标 ★ 405
核心亮点
- 知识路径按依赖关系编排，先讲KV cache和PagedAttention再进vLLM，避免直接啃框架源码的挫败感
- 覆盖continuous batching、显存管理、GPU带宽等真实瓶颈点，不是泛泛的模型介绍
- 以Markdown组织，轻量易读，适合边看边做笔记或作为团队内部分享材料
不足之处
- 目前以概念和阅读指引为主，缺少可运行的代码示例与实测数据
- 星标280属早期项目，内容深度和更新频率仍待观察
适用场景
- 后端工程师从调用API转向自建推理服务前的系统补课
- 团队内部做推理性能优化分享时的提纲和参考资料
- 面试准备大模型推理方向，梳理KV cache、batching等高频考点
替代项目
vllm、sglang、llm-engineer-handbook
同类项目推荐
engineering-handbook
开源
一份手册打通系统设计、算法与 AI 工程面试
Open-source High-Level System Design, DSA, and AI Engineering handbooks. CC BY-SA 4.···
llms_paper
开源
按方向整理LLM顶会论文笔记，快速跟上前沿
该仓库主要记录 LLMs 算法工程师相关的顶会论文研读笔记（多模态、PEFT、小样本QA问答、RA···
dg-ai-notes
开源
跟着笔记从零搭建AI智能体，少走弯路
AIAnswerer-Android
开源
截个图，AI 秒出答案，学习解题快人一步
智能答题助手 - Android平台AI答题应用，通过截图识别和AI分析为各类题目提供答案解析
Paper-Rebuttal-Tips
开源
看真实案例，学写论文反驳信，提升录用率
MLNLP社区用来帮助大家论文Rebuttal的整理仓库。
visionbook
开源
免费开源的计算机视觉教材，边读边改边跑代码
designing-ml-systems-summary
开源
读透《ML系统设计》，掌握生产级ML全流程
A detailed summary of "Designing Machine Learning Systems" by Chip Huyen. This book ···
zero2Agent
开源
系统备战大厂Agent面试，技术路线+八股文一站搞定
面向大厂Agent研发岗位求职的agent教程网站，涵盖技术路线与面试八股文
agentic-rl
开源
中文零基础跟练25章，跑通GRPO智能体训练
Agentic RL 中文零基础教程（33 章）：从概念到 GRPO 实战，含 TRL 最小可跑示例；26–33 ···