A-Survey-on-Mixture-of-Experts-in-LLMs
一张图看懂大模型 MoE 的论文地图与工程要点
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 512
使用教程
环境要求
- 无需部署
安装与启动步骤
-
1认清它是综述
按时间线梳理混合专家模型的工作。
-
2顺时间线读
它的组织方式本身就是发布时间轴。
-
3抓两三条主线
路由策略、专家粒度、训练稳定性。
-
4对照开源实现
看结论能不能在公开模型上验证。
如何确认成功
能说清混合专家模型在路由与负载均衡上的两个主要难题，并指出时间线上对应的代表工作
注意事项
- 这是混合专家大模型的综述与时间线清单。
- 按发布时间排列，能看出技术路线的演进。
- 核心难点在路由与负载均衡，不在参数量。
- 清单以论文为主，工程细节要看开源实现。
核心亮点
- 以 TKDE 综述论文为骨架，分类体系完整，覆盖路由、训练、系统、应用全链路
- 汇总大量代表性论文与资源链接，适合快速建立 MoE 领域认知地图
- 明确列出开放挑战和工程痛点，对选题和落地调研有直接参考价值
不足之处
- 仓库以论文列表和链接为主，缺少可运行代码或实验复现脚本
- 更新依赖作者维护节奏，新论文收录可能滞后
适用场景
- 研究生或算法工程师入门 MoE 方向时做系统性文献调研
- 团队评估是否在自研大模型中引入 MoE 架构时做技术选型参考
- 撰写综述、开题报告或内部分享时快速查找分类框架和代表工作
替代项目
awesome-mixture-of-experts、MoE-LLaVA、DeepSpeed-MoE
同类项目推荐
PAKGOV-RAG-project
开源
乌尔都语+英语政务法律文档，OCR 加混合检索，答完能溯源
Research project on bilingual Urdu-English retrieval-augmented generation for Pakist···
context-aware-rag
开源
把文档变成知识图谱，让AI问答更懂关系
Context-Aware RAG library for Knowledge Graph ingestion and retrieval functions.
deepRAG
开源
混合实验技术，让 RAG 检索结果更准更干净
Uses a blend of experimental techniques to enhance LLM RAG resultsets.
YT-Navigator
开源
搜 YouTube 视频内容，像聊天一样直接问，秒出带时间戳的答案
YT Navigator: AI-powered YouTube content explorer that lets you search and chat with···
vanna
开源
用大白话问数据库，自动生成SQL并出结果，告别手写查询。
Chat with your SQL database . Accurate Text-to-SQL Generation via LLMs using Agentic···
RAGHub
开源
一站式逛遍 RAG 生态，快速找到你需要的框架和资源。
A community-driven collection of RAG (Retrieval-Augmented Generation) frameworks, pr···
Langchain-Chatchat
开源
把公司资料变成私人顾问，只答自己家的内容
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等···
bkmr
开源
本地优先的语义书签管理，让人类和 AI 代理都能快速检索知识。
Knowledge Management for Humans and Agents
infino
开源
在应用内嵌 Parquet 检索，全文+向量混合搜索开箱即用
Embedded retrieval library built on Parquet. Fast, efficient, and scalable.