LLM-Drop

丢弃冗余层，加速 Transformer 推理，省算力不掉点。

LLM-Drop 是论文《Uncovering the Redundancy in Transformers via a Unified Study of Layer Dropping》的官方实现，旨在系统研究并利用 Transformer 模型中的层冗余。该工具通过统一的层丢弃策略，识别模型中冗余的层，并在推理或微调阶段动态跳过这些层，从而在不显著损失性能的前提下加速模型推理、降低计算成本。核心能力包括：支持多种层丢弃策略（如随机、基于重要性等），提供统一的评估框架，可应用于主流 Transformer 架构（如 BERT、GPT 等）。项目为研究者和工程师提供了探索模型压缩、加速推理的实用工具，尤其适合资源受限场景下的模型部署。