MoE-plus-plus
零计算专家，让MoE模型更快更省，性能不减
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 281
核心亮点
- 创新性地提出零计算专家，直接削减MoE冗余计算，加速效果显著
- 已在ICLR 2025发表，算法经过学术验证，理论扎实
- 代码开源，提供完整实现，便于研究者复现和二次开发
不足之处
- 项目处于早期阶段，文档和社区支持待观察
- 零计算专家的设计可能仅适用于特定类型的MoE结构，通用性需进一步验证
适用场景
- 大规模语言模型的高效推理与部署
- 多任务学习中的稀疏专家网络加速
- 资源受限环境（如边缘设备）下的MoE模型运行
替代项目
DeepSpeed-MoE、Tutel、FastMoE
上一篇：LongRecipe
下一篇：self-refine
同类项目推荐
dreambooth-keras
开源
用 TensorFlow 微调 Stable Diffusion，实现个性化图像生成。
Implementation of DreamBooth in KerasCV and TensorFlow.
diffusers-torchao
开源
一键优化扩散模型，推理提速3倍，显存减半
End-to-end recipes for optimizing diffusion models with torchao and diffusers (infer···
DiffusionART
开源
给扩散模型做稳定高效的强化学习后训练
Official Implementation of "DiffusionART: Efficient, Stable and Scalable Reinforceme···
Merge-Stable-Diffusion-models-wi···
开源
不训练，无损合并多个Stable Diffusion模型，统一风格与能力。
Adaptation of the merging method described in the paper - Git Re-Basin: Merging Mode···
slime
开源
把大模型强化学习后训练做成可横向扩展的基础设施
slime is an LLM training framework for RL Scaling.
Fairy-plus-minus-i
开源
把LLM权重量化搬到复数域，低比特下少掉点
Fairy±i (iFairy): Complex-valued Quantization Framework for Large Language Models
llm-engine
开源
自建大模型推理与微调平台，OpenAI 接口一键迁移
Scale LLM Engine public repository
ETO
开源
让 LLM Agent 在试错中自我进化，越用越聪明
Trial and Error: Exploration-Based Trajectory Optimization of LLM Agents (ACL 2024 M···
kohya-colab
开源
打开 Colab 就能训自己的 SD LoRA
Accessible Google Colab notebooks for Stable Diffusion Lora training, based on the w···