MoE-Infinity 是基础设施领域的开源项目，由 EfficientMoE 开发，2024 年首次发布。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 363。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。开源库，Apache-2.0许可证，完全免费，无付费版本。
它主要面向的使用场景是：在单张消费级GPU上部署Mixtral等MoE模型。同类可对比的替代方案包括 vLLM、DeepSpeed-MoE、SGLang。
MoE-Infinity
把 MoE 大模型塞进小显存，推理快还省钱
MoE-Infinity 是一个基于 PyTorch 的开源库，旨在高效、低成本地服务混合专家（MoE）大语言模型。它解决了 MoE 模型因参数量巨大、推理时显存占用高、部署成本昂贵的问题，通过稀疏专家卸载和异步预取技术，在有限 GPU 显存下实现快速推理。核心能力包括：将不活跃的专家参数卸载到 CPU/SSD，按需动态加载；支持多 GPU 并行和流水线调度；提供简单易用的 API，兼容 HuggingFace 模型。适用于单卡或多卡环境，显著降低 MoE 模型的部署门槛，适合资源受限的研究和产品场景。
开源
free
开源模型
GitHub 星标
★ 363
维护状态
活跃
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队EfficientMoE
所属国家
定价模式free
价格说明开源库，Apache-2.0许可证，完全免费，无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型huggingface,inference-engine,large-language-models,llm-inference,mixture-of-experts,pytorch
GitHub 星标★ 363
30天Star增速
HF 下载量
上线时间2024-01-22 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 显存优化：将专家参数卸载到 CPU/SSD，单卡也能跑超大 MoE 模型
- 推理加速：异步预取和调度策略，减少等待，提升吞吐
- 易用性：API 简洁，与 PyTorch/HuggingFace 生态无缝集成
不足之处
- 文档/社区待观察
- 对 SSD 读写速度敏感，可能影响极端场景性能
适用场景
- 在单张消费级 GPU 上部署 Mixtral 等 MoE 模型
- 多卡集群中降低 MoE 推理的显存占用和成本
- 需要快速实验和迭代 MoE 模型的科研场景
替代项目
vLLM、DeepSpeed-MoE、SGLang
项目介绍
上一篇：xgrammar
下一篇：ai-optimizer
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···