MoE-Infinity
把 MoE 大模型塞进小显存，推理快还省钱
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 381
核心亮点
- 显存优化：将专家参数卸载到 CPU/SSD，单卡也能跑超大 MoE 模型
- 推理加速：异步预取和调度策略，减少等待，提升吞吐
- 易用性：API 简洁，与 PyTorch/HuggingFace 生态无缝集成
不足之处
- 文档/社区待观察
- 对 SSD 读写速度敏感，可能影响极端场景性能
适用场景
- 在单张消费级 GPU 上部署 Mixtral 等 MoE 模型
- 多卡集群中降低 MoE 推理的显存占用和成本
- 需要快速实验和迭代 MoE 模型的科研场景
替代项目
vLLM、DeepSpeed-MoE、SGLang
上一篇：xgrammar
下一篇：ai-optimizer
同类项目推荐
open-connector
开源
一键连接千款 SaaS，让 AI 智能体轻松调用外部工具
Open-source auth gateway connecting 1500+ SaaS providers to AI agents through SDK, C···
surprisal
开源
统一接口，一键计算任意语言模型的惊异度
A unified interface for computing surprisal (log probabilities) from language models···
FastDeploy
开源
用飞桨生态，一键部署大模型到生产环境
High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddleP···
gguf
开源
让 ComfyUI 直接跑 GGUF 量化模型，低显存也能出图
gguf node for comfyui
omniai
开源
一个 Ruby 库，统一多家 AI 接口，切换模型像换插件一样简单。
OmniAI standardizes the APIs for multiple AI providers like OpenAI's Chat GPT, Mistr···
aitune
开源
自动调优 NVIDIA GPU 推理配置，省去手工调参
NVIDIA AITune is an inference toolkit designed for tuning and deploying Deep Learnin···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
moltstream
开源
让 AI 智能体像真人一样开直播，实时推送内容
Agent-native streaming infrastructure. The streaming runtime built for non-human bro···
starwhale
开源
一站式管理模型全生命周期，让实验到上线更顺滑
an MLOps/LLMOps platform