Unified-MoE-Compression

给 MoE 模型瘦身，压缩后推理更快更省内存

Unified-MoE-Compression 是论文《Towards Efficient Mixture of Experts: A Holistic Study of Compression Techniques》的官方实现，聚焦混合专家（MoE）模型的压缩问题。MoE 模型虽在扩展参数时保持高效推理，但巨大的内存占用和部署成本限制了实际应用。该项目系统性地研究了多种压缩技术，包括专家剪枝、专家量化、低秩分解等，并提供了统一的评估框架和工具，帮助研究者和工程师在保持模型性能的前提下，显著减小 MoE 模型的体积和推理开销。核心能力包括：支持主流 MoE 架构（如 Switch Transformer、Mixtral 等），提供模块化的压缩算法库，以及可复现的实验配置。项目代码基于 Python 和 PyTorch，便于集成到现有训练和推理流程中。