MoE-plus-plus

零计算专家，让MoE模型更快更省，性能不减

MoE++ 是一个针对混合专家（Mixture-of-Experts, MoE）模型的加速框架，核心思想是引入“零计算专家”（Zero-Computation Experts），在不增加实际计算量的前提下提升模型性能。传统MoE方法依赖多个专家网络进行条件计算，但专家间的冗余计算和通信开销限制了效率。MoE++通过将部分专家设计为无需实际计算的“零计算”单元，仅通过路由或轻量操作参与，从而显著降低计算和内存开销，同时保持甚至提升模型精度。该项目基于Python实现，提供了完整的训练和推理流程，支持主流深度学习框架，并已在ICLR 2025发表论文。它解决了MoE模型在部署时计算成本高、推理延迟大的问题，适用于大规模语言模型、多任务学习等场景，尤其适合资源受限环境下的高效模型部署。