
Awesome-LLM-Compression
大模型压缩论文与工具一站索引,快速选型落地
这是一个聚焦大语言模型压缩方向的资源合集,系统整理了模型量化、剪枝、知识蒸馏、低秩分解等压缩技术的代表性论文与开源工具。它解决的是研究者和工程师在 LLM 压缩领域信息分散、难以快速定位关键工作与可用工具的问题。核心能力包括:按技术路线分类的论文清单,覆盖训练后量化、量化感知训练、结构化与非结构化剪枝等主流方向;配套收录可落地的压缩工具与代码库,方便直接上手实验;持续跟踪新发布的研究成果,保持内容时效性。对于需要把大模型部署到显存受限设备、降低推理成本或做压缩方向调研的团队,它可作为入口索引,减少重复检索成本,快速建立该领域的技术全景认知。
项目数据
使用教程
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Git 客户端(用于克隆仓库)
- 可阅读 Markdown 的工具(浏览器、VS Code 或 Typora 等)
- 无需安装 Python、CUDA 等运行环境,仓库本身不含可执行代码
安装与启动步骤
-
1克隆资源仓库
把整个 Awesome-LLM-Compression 仓库下载到本地,方便离线浏览和后续 git pull 更新。
git clone https://github.com/HuangOwen/Awesome-LLM-Compression.git -
2进入仓库目录
切换到克隆下来的目录,确认能看到 README.md 等文件。
cd Awesome-LLM-Compression -
3打开 README 目录
README 顶部有 Contents 目录,分为 Papers 与 Tools 两大块,先浏览目录建立整体认知。
-
4按方向查论文
Papers 下按 Quantization、Pruning and Sparsity、Distillation、KV Cache Compression 等方向分类,按需进入对应小节。
-
5展开年份查看论文
论文在可折叠块中按年份分组、新的在前,点击年份即可展开,当年默认展开。
-
6从 Tools 找可落地工具
Tools 下分推理引擎、量化库与 kernel、压缩工具包等,点进对应 GitHub 仓库按其自身文档使用。
-
7提交补充内容
发现新论文或工具时,可按 Contributing 章节的说明发起 Pull Request。
如何确认成功
本地出现 Awesome-LLM-Compression 目录,用浏览器或 Markdown 阅读器打开 README.md,能看到 Papers 与 Tools 目录结构。
常见问题
Q:需要安装 Python 或配置 CUDA 环境吗?
A:不需要。该仓库只是论文与工具的索引清单,README 未给出任何安装命令,浏览内容用浏览器或 Markdown 阅读器即可。
Q:为什么有些论文条目点不开?
A:论文按年份放在可折叠块里,点击年份标题才会展开,当前年份默认展开,其余年份需手动点击。
Q:想直接跑量化或剪枝实验怎么办?
A:本仓库不提供运行环境。请在 Tools 章节找到对应工具仓库,打开其 GitHub 页面按该项目自己的文档安装使用。
Q:如何让列表收录我的新工作?
A:按 README 中 Contributing 章节的说明提交 Pull Request,补充论文或工具条目。
注意事项
- 仓库内容为论文与工具链接集合,本身没有可执行代码,无需安装依赖。
- 所有论文链接指向 arXiv、工具链接指向各自 GitHub,使用前请阅读对应项目的官方文档。
- 列表持续更新,建议定期执行 git pull 获取最新条目。
核心亮点
- 按量化、剪枝、蒸馏等技术路线分类,检索效率高
- 论文与工具并重,兼顾调研和工程落地
- 持续更新,紧跟 LLM 压缩前沿进展
不足之处
- 仅为资源列表,缺少对各方法的横向评测与对比
- 无统一代码实现,实际效果需自行验证
适用场景
- 调研大模型量化/剪枝方案时快速定位关键论文
- 为显存受限设备部署模型挑选压缩工具
- 团队内部做 LLM 压缩技术分享的资料底稿
替代项目
Awesome-LLM、Awesome-Quantization
项目介绍
同类项目推荐
akto
开源
给 AI 应用做安全体检,防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾,自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
Tracely-ai
开源
把生产事故变成回归测试,合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门,防提示注入和隐私泄露
The fastest Trust Layer for AI Agents