anemll-flash-llama.cpp

让 Mac 统一内存也能跑动超大 MoE 模型

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 135

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类基础设施

开发团队Anemll

所属国家

官网地址

GitHubhttps://github.com/Anemll/anemll-flash-llama.cpp

定价模式free

价格说明开源免费，需自行部署

访问状态

是否开源是

开源协议MIT

主要语言C++

技术栈/模型

GitHub 星标★ 135

30天Star增速

HF 下载量

上线时间2026-03-31 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-16

浏览次数0

项目介绍

anemll-flash-llama.cpp 是 llama.cpp 的一个分支，专门为 Apple Silicon 优化大型 MoE（混合专家）GGUF 模型的推理。它引入 Flash-MoE sidecar slot-bank 运行时，把 MoE 专家权重按需加载到内存槽位中，避免一次性把全部专家常驻内存，从而在统一内存有限的 Mac 上跑动原本放不下的超大 MoE 模型。项目用 C++ 实现，复用 llama.cpp 的 GGUF 格式与生态，核心能力包括专家权重的动态换入换出、槽位复用和与 Metal 后端的协同调度。它解决的是 Apple Silicon 用户想本地运行 DeepSeek、Qwen 等大 MoE 模型时内存不足、加载失败或速度骤降的问题，属于偏底层的基础设施型项目，目前处于早期阶段，适合愿意折腾的开发者尝鲜。