LightCompress

一套工具压缩 LLM/VLM/视频模型，部署更省资源

LightCompress 是一个面向大模型压缩的开源工具包，由 EMNLP 2024 和 AAAI 2026 论文支撑，支持对 LLM（大语言模型）、VLM（视觉语言模型）以及视频生成模型进行高效压缩。它解决的核心问题是：随着模型规模增大，部署和推理成本急剧上升，而现有压缩工具往往只针对单一模型类型或缺乏统一接口。LightCompress 提供了一套统一的压缩框架，涵盖剪枝、量化、蒸馏等主流压缩技术，并针对不同模型架构进行了优化。其核心能力包括：模块化设计，方便用户按需组合压缩策略；支持多种主流模型架构，降低迁移成本；提供与 HuggingFace 生态的集成，简化使用流程。项目目前处于早期阶段，但已有论文背书，适合研究者和工程师探索大模型轻量化部署。