A-Survey-on-Mixture-of-Experts-in-LLMs

一张图看懂大模型 MoE 的论文地图与工程要点

这是 TKDE'25 综述论文《A Survey on Mixture of Experts in Large Language Models》的官方 GitHub 页面，系统梳理了混合专家（MoE）在大语言模型中的研究进展。它解决的问题是：MoE 相关论文分散在稀疏路由、专家并行、负载均衡、训练稳定性、推理加速等多个方向，初学者和工程团队很难快速建立完整认知。该项目把 MoE 的架构设计、路由算法、训练技巧、系统实现、下游应用和开放挑战整理成统一框架，并持续收录代表性工作与资源链接。核心能力包括：提供 MoE 的分类体系与术语对照，汇总关键论文和开源实现，指出显存、通信、专家坍缩等工程痛点，并给出未来研究方向。适合作为入门地图、选题参考和团队技术调研的起点。