Awesome-LLM-Inference

大模型推理优化论文与代码，一页找齐

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 441 🐛 待处理 8 👀 关注 134

GitHub ↗

GitHub 星标 ★ 5539

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费资源列表

项目预览

Awesome-LLM-Inference 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类基础设施

开发团队xlite-dev

GitHubhttps://github.com/xlite-dev/Awesome-LLM-Inference

定价模式🏷️完全免费

价格说明开源免费资源列表

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议GPL-3.0

主要语言Python

技术栈/模型awesome-llm,deepseek,deepseek-r1,deepseek-v3,flash-attention,flash-attention-3,flash-mla,llm-inference,minimax-01,mla,paged-attention,qwen3,tensorrt-llm,vllm

GitHub 星标★ 5539

上线时间2023-08-27 00:00:00

代码更新2026-10-20

仓库体积117.4 MB

本站数据更新2026-10-25

维护状态活跃

收录时间2026-10-25

浏览次数0

项目介绍

Awesome-LLM-Inference 是一个面向大模型与多模态模型推理优化的论文与代码资源合集，系统整理了 Flash-Attention、Paged-Attention、权重量化（WINT8/4）、并行策略、MLA 等关键技术方向。项目解决的是推理优化知识分散、论文与实现难以对应的问题：研究者与工程师往往需要在多个仓库和论文之间反复跳转，才能拼出完整的技术图景。该合集按主题归类核心论文并附上可运行的代码链接，覆盖从注意力算子加速、KV Cache 管理、量化压缩到张量/流水线并行的完整链路，同时跟进 DeepSeek-R1/V3、MiniMax-01 等新模型相关的推理实践。使用者可以把它当作推理优化的索引地图，快速定位某项技术对应的原始论文与工程实现，用于技术选型、性能调优或系统性学习，降低从论文到落地的检索成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-25 · 当前星标 ★ 5539

技术标签

deepseek deepseek-r1 llm-inference qwen3 vllm

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 5 分钟部署方式：本地安装 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

可访问 GitHub 的网络环境（用于克隆仓库）
已安装 git 命令行工具
本地有可打开 Markdown 文件的编辑器或浏览器

安装与启动步骤

1克隆仓库到本地

把整份论文与代码索引仓库下载到本地，方便离线检索主题。
```
git clone https://github.com/xlite-dev/Awesome-LLM-Inference.git
```
2进入仓库目录

切换到仓库根目录，README.md 中包含全部主题索引与目录锚点。
```
cd Awesome-LLM-Inference
```
3按主题定位论文

在 README 中按目录锚点查找方向，如结构化剪枝/知识蒸馏/权重稀疏等章节。
4跳转到论文与代码

在表格中通过 Paper 列看论文，Code 列进入对应开源仓库，按其自身说明使用。