moe-l2

8GB 显卡也能跑 100B+ MoE 大模型

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 148

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类基础设施

开发团队yalun753

所属国家

官网地址

GitHubhttps://github.com/yalun753/moe-l2

定价模式free

价格说明开源免费，PyPI包形式发布

访问状态

是否开源是

开源协议Apache-2.0

主要语言Cuda

技术栈/模型consumer-gpu,deepseek,expert-caching,llama-cpp,llm-inference,moe,vram-optimization

GitHub 星标★ 148

30天Star增速

HF 下载量

上线时间2026-07-26 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-16

浏览次数0

项目介绍

moe-l2 是一个面向低显存消费级 GPU 的 MoE 模型推理优化项目，核心解决 100B+ 参数混合专家模型（如 DeepSeek、Qwen、Mixtral）在 8GB 显卡上无法运行的问题。它通过将 MoE 专家权重卸载到 CPU 内存或磁盘，并在 GPU 上维护一个 LRU 热专家缓存，只把当前 token 真正激活的专家动态换入显存，从而大幅降低显存占用。项目提供 OpenAI 兼容代理接口，方便接入现有客户端；支持 GGUF 多分片加载，兼容 llama.cpp 生态。技术上用 CUDA 实现专家调度与缓存管理，目标是在有限硬件上跑起大 MoE 模型，适合个人开发者和边缘部署场景。