LLM-Drop

丢弃冗余层,加速 Transformer 推理,省算力不掉点。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 23 👀 关注 3
GitHub ↗
GitHub 星标 ★ 193
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,完全免费,无付费版本。

项目预览

LLM-Drop 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队CASE-Lab-UMD
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型attention-mechanism,deep-learning,large-language-models,machine-learning,model-compression,natural-language-processing
GitHub 星标★ 193
上线时间2024-05-09 00:00:00
代码更新2026-10-02
仓库体积92.6 MB
本站数据更新2026-11-08
维护状态维护中
收录时间2026-08-09
浏览次数6

项目介绍

LLM-Drop 是论文《Uncovering the Redundancy in Transformers via a Unified Study of Layer Dropping》的官方实现,旨在系统研究并利用 Transformer 模型中的层冗余。该工具通过统一的层丢弃策略,识别模型中冗余的层,并在推理或微调阶段动态跳过这些层,从而在不显著损失性能的前提下加速模型推理、降低计算成本。核心能力包括:支持多种层丢弃策略(如随机、基于重要性等),提供统一的评估框架,可应用于主流 Transformer 架构(如 BERT、GPT 等)。项目为研究者和工程师提供了探索模型压缩、加速推理的实用工具,尤其适合资源受限场景下的模型部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 193

核心亮点

  • 提供多种层丢弃策略,灵活适配不同模型和任务
  • 官方论文实现,方法经过学术验证,可靠性高
  • 代码结构清晰,易于扩展和集成到现有项目

不足之处

  • 文档/社区待观察
  • 主要面向研究场景,生产环境部署案例较少

适用场景

  • 模型推理加速,降低延迟和计算成本
  • 模型压缩,适配边缘设备或低资源环境
  • 研究 Transformer 层冗余特性,探索高效架构

替代项目

LayerDrop (Facebook)、Sparse Transformer、DistilBERT

上一篇:DuQuant

下一篇:flame

同类项目推荐

cevahir-ai 开源

一站式搭建语言模型,从分词到聊天全流程

Full-stack open-source AI engine for building language models — tokenizer training,···

★ 283 2026-08-09
perfusion-pytorch 开源

用少量样本给文本生成模型打补丁,实现精准图像编辑

Implementation of Key-Locked Rank One Editing, from Nvidia AI

★ 238 2026-08-09
h2o-llmstudio 开源

不用写代码,拖拽配置就能微调大模型

H2O LLM Studio - a framework and no-code GUI for fine-tuning LLMs. Documentation: ht···

★ 5194 2026-08-09
JacobiForcing 开源

让模型生成快数倍,质量不打折的并行解码新方案

[ICML 2026] Jacobi Forcing: Fast and Accurate Diffusion-style Decoding

★ 119 2026-08-09
easydistill 开源

一键蒸馏大模型,小模型也能拥有大智慧

a toolkit on knowledge distillation for large language models

★ 484 2026-08-09
gorilla 开源

让大模型学会精准调用API,连接真实世界工具

Gorilla: Training and Evaluating LLMs for Function Calls (Tool Calls)

★ 13064 2026-08-09
residual-context-diffusion 开源

把丢弃的信号变成推理先验,让扩散大模型更聪明

[ICML 2026] Residual Context Diffusion (RCD): Repurposing discarded signals as struc···

★ 62 2026-08-09
CDM 开源

少步扩散蒸馏,让图像生成快如闪电

[NeurIPS 2026] Continuous-Time Distribution Matching for Few-Step Diffusion Distilla···

★ 156 2026-08-09
modular-diffusion 开源

像搭积木一样,快速搭建你的自定义扩散模型

Python library for designing and training your own Diffusion Models with PyTorch

★ 292 2026-08-09