Awesome-LLM-Compression

大模型压缩论文与工具一站索引,快速选型落地

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 144 👀 关注 42
GitHub ↗
GitHub 星标 ★ 1890
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费资源合集

项目预览

Awesome-LLM-Compression 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队HuangOwen
定价模式🏷️完全免费
价格说明开源免费资源合集
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
GitHub 星标★ 1890
上线时间2023-05-30 00:00:00
代码更新2026-10-27
仓库体积1.4 MB
本站数据更新2026-11-03
维护状态较活跃
收录时间2026-09-16
浏览次数1

项目介绍

这是一个聚焦大语言模型压缩方向的资源合集,系统整理了模型量化、剪枝、知识蒸馏、低秩分解等压缩技术的代表性论文与开源工具。它解决的是研究者和工程师在 LLM 压缩领域信息分散、难以快速定位关键工作与可用工具的问题。核心能力包括:按技术路线分类的论文清单,覆盖训练后量化、量化感知训练、结构化与非结构化剪枝等主流方向;配套收录可落地的压缩工具与代码库,方便直接上手实验;持续跟踪新发布的研究成果,保持内容时效性。对于需要把大模型部署到显存受限设备、降低推理成本或做压缩方向调研的团队,它可作为入口索引,减少重复检索成本,快速建立该领域的技术全景认知。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 1890

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:入门 约 5 分钟 部署方式:本地安装 7 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Git 客户端(用于克隆仓库)
  • 可阅读 Markdown 的工具(浏览器、VS Code 或 Typora 等)
  • 无需安装 Python、CUDA 等运行环境,仓库本身不含可执行代码

安装与启动步骤

  1. 1克隆资源仓库

    把整个 Awesome-LLM-Compression 仓库下载到本地,方便离线浏览和后续 git pull 更新。

    git clone https://github.com/HuangOwen/Awesome-LLM-Compression.git
  2. 2进入仓库目录

    切换到克隆下来的目录,确认能看到 README.md 等文件。

    cd Awesome-LLM-Compression
  3. 3打开 README 目录

    README 顶部有 Contents 目录,分为 Papers 与 Tools 两大块,先浏览目录建立整体认知。

  4. 4按方向查论文

    Papers 下按 Quantization、Pruning and Sparsity、Distillation、KV Cache Compression 等方向分类,按需进入对应小节。

  5. 5展开年份查看论文

    论文在可折叠块中按年份分组、新的在前,点击年份即可展开,当年默认展开。

  6. 6从 Tools 找可落地工具

    Tools 下分推理引擎、量化库与 kernel、压缩工具包等,点进对应 GitHub 仓库按其自身文档使用。

  7. 7提交补充内容

    发现新论文或工具时,可按 Contributing 章节的说明发起 Pull Request。

如何确认成功

本地出现 Awesome-LLM-Compression 目录,用浏览器或 Markdown 阅读器打开 README.md,能看到 Papers 与 Tools 目录结构。

常见问题

Q:需要安装 Python 或配置 CUDA 环境吗?

A:不需要。该仓库只是论文与工具的索引清单,README 未给出任何安装命令,浏览内容用浏览器或 Markdown 阅读器即可。

Q:为什么有些论文条目点不开?

A:论文按年份放在可折叠块里,点击年份标题才会展开,当前年份默认展开,其余年份需手动点击。

Q:想直接跑量化或剪枝实验怎么办?

A:本仓库不提供运行环境。请在 Tools 章节找到对应工具仓库,打开其 GitHub 页面按该项目自己的文档安装使用。

Q:如何让列表收录我的新工作?

A:按 README 中 Contributing 章节的说明提交 Pull Request,补充论文或工具条目。

注意事项

  • 仓库内容为论文与工具链接集合,本身没有可执行代码,无需安装依赖。
  • 所有论文链接指向 arXiv、工具链接指向各自 GitHub,使用前请阅读对应项目的官方文档。
  • 列表持续更新,建议定期执行 git pull 获取最新条目。

核心亮点

  • 按量化、剪枝、蒸馏等技术路线分类,检索效率高
  • 论文与工具并重,兼顾调研和工程落地
  • 持续更新,紧跟 LLM 压缩前沿进展

不足之处

  • 仅为资源列表,缺少对各方法的横向评测与对比
  • 无统一代码实现,实际效果需自行验证

适用场景

  • 调研大模型量化/剪枝方案时快速定位关键论文
  • 为显存受限设备部署模型挑选压缩工具
  • 团队内部做 LLM 压缩技术分享的资料底稿

替代项目

Awesome-LLM、Awesome-Quantization

上一篇:llm-as-a-verifier

下一篇:meow-llm-detector

同类项目推荐

Frontier-CS 开源

用开放式 CS 难题测出大模型的真实上限

A benchmark for evaluating LLMs on open-ended CS problems. Exploring the Next Fronti···

★ 342 2026-10-23
phi-boundary-gate 开源

给医疗 AI 加一道 PHI 闸门,该拦的拦、该脱敏的脱敏

Detect, gate, redact, and report PHI candidate flows across healthcare and insurance···

★ 204 2026-10-12
gpt6-Astra 开源

一个工作台集中测试各大模型的越狱与安全边界

gpt6 Astra-claude-grok4.7-deepseekv4.1flash-glm5.3-gemini破甲越狱 · 冷咖啡 BREAK//O···

★ 1876 2026-10-17
sim-evals 开源

把机器人策略丢进仿真跑分,省下真机评测的麻烦

A simulation evaluation platform for DROID

★ 243 2026-09-14
mcp-observatory 开源

在智能体接入前,自动给 MCP 服务器做安全体检

Free, MIT-licensed MCP security testing from ClearFrame. Scan, audit, compare, and r···

★ 135 2026-08-09
SIMURG 开源

流式生成中实时拦截重复、漂移和乱码,不让坏 token 见用户

Zero-leak online detection of LLM decoding corruption and Free Web Search for your A···

★ 105 2026-09-27
MarkDiffusion 开源

给扩散模型生成图加水印,统一接口做嵌入、提取与评测

[JMLR] MarkDiffusion: An Open-Source Toolkit for Generative Watermarking of Latent D···

★ 334 2026-10-29