Awesome-LLM-Compression

大模型压缩论文与工具一站索引,快速选型落地

这是一个聚焦大语言模型压缩方向的资源合集,系统整理了模型量化、剪枝、知识蒸馏、低秩分解等压缩技术的代表性论文与开源工具。它解决的是研究者和工程师在 LLM 压缩领域信息分散、难以快速定位关键工作与可用工具的问题。核心能力包括:按技术路线分类的论文清单,覆盖训练后量化、量化感知训练、结构化与非结构化剪枝等主流方向;配套收录可落地的压缩工具与代码库,方便直接上手实验;持续跟踪新发布的研究成果,保持内容时效性。对于需要把大模型部署到显存受限设备、降低推理成本或做压缩方向调研的团队,它可作为入口索引,减少重复检索成本,快速建立该领域的技术全景认知。

开源 free 评测安全
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1876
维护状态 较活跃
是否开源
定价模式 free

项目数据

分类评测安全
开发团队HuangOwen
所属国家
官网地址
定价模式free
价格说明开源免费资源合集
访问状态
是否开源
开源协议MIT
主要语言
技术栈/模型
GitHub 星标★ 1876
30天Star增速
HF 下载量
上线时间2023-05-30 00:00:00
最近更新2026-09-18 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-16
浏览次数0

使用教程

难度:入门 约 5 分钟 部署方式:本地安装 7 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Git 客户端(用于克隆仓库)
  • 可阅读 Markdown 的工具(浏览器、VS Code 或 Typora 等)
  • 无需安装 Python、CUDA 等运行环境,仓库本身不含可执行代码

安装与启动步骤

  1. 1克隆资源仓库

    把整个 Awesome-LLM-Compression 仓库下载到本地,方便离线浏览和后续 git pull 更新。

    git clone https://github.com/HuangOwen/Awesome-LLM-Compression.git
  2. 2进入仓库目录

    切换到克隆下来的目录,确认能看到 README.md 等文件。

    cd Awesome-LLM-Compression
  3. 3打开 README 目录

    README 顶部有 Contents 目录,分为 Papers 与 Tools 两大块,先浏览目录建立整体认知。

  4. 4按方向查论文

    Papers 下按 Quantization、Pruning and Sparsity、Distillation、KV Cache Compression 等方向分类,按需进入对应小节。

  5. 5展开年份查看论文

    论文在可折叠块中按年份分组、新的在前,点击年份即可展开,当年默认展开。

  6. 6从 Tools 找可落地工具

    Tools 下分推理引擎、量化库与 kernel、压缩工具包等,点进对应 GitHub 仓库按其自身文档使用。

  7. 7提交补充内容

    发现新论文或工具时,可按 Contributing 章节的说明发起 Pull Request。

如何确认成功

本地出现 Awesome-LLM-Compression 目录,用浏览器或 Markdown 阅读器打开 README.md,能看到 Papers 与 Tools 目录结构。

常见问题

Q:需要安装 Python 或配置 CUDA 环境吗?

A:不需要。该仓库只是论文与工具的索引清单,README 未给出任何安装命令,浏览内容用浏览器或 Markdown 阅读器即可。

Q:为什么有些论文条目点不开?

A:论文按年份放在可折叠块里,点击年份标题才会展开,当前年份默认展开,其余年份需手动点击。

Q:想直接跑量化或剪枝实验怎么办?

A:本仓库不提供运行环境。请在 Tools 章节找到对应工具仓库,打开其 GitHub 页面按该项目自己的文档安装使用。

Q:如何让列表收录我的新工作?

A:按 README 中 Contributing 章节的说明提交 Pull Request,补充论文或工具条目。

注意事项

  • 仓库内容为论文与工具链接集合,本身没有可执行代码,无需安装依赖。
  • 所有论文链接指向 arXiv、工具链接指向各自 GitHub,使用前请阅读对应项目的官方文档。
  • 列表持续更新,建议定期执行 git pull 获取最新条目。

核心亮点

  • 按量化、剪枝、蒸馏等技术路线分类,检索效率高
  • 论文与工具并重,兼顾调研和工程落地
  • 持续更新,紧跟 LLM 压缩前沿进展

不足之处

  • 仅为资源列表,缺少对各方法的横向评测与对比
  • 无统一代码实现,实际效果需自行验证

适用场景

  • 调研大模型量化/剪枝方案时快速定位关键论文
  • 为显存受限设备部署模型挑选压缩工具
  • 团队内部做 LLM 压缩技术分享的资料底稿

替代项目

Awesome-LLM、Awesome-Quantization

项目介绍

Awesome-LLM-Compression 是一个评测安全领域的开源项目,官方简介:Awesome LLM compression research papers and tools.。项目使用 未知 开发,在 GitHub 上获得 1873 星标。

上一篇:llm-as-a-verifier

下一篇:meow-llm-detector

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1516 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
Tracely-ai 开源

把生产事故变成回归测试,合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1403 2026-08-24