apex-quant

MoE 大模型按专家分精度压缩，省显存不掉点

开源 free 模型训练

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 476

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类模型训练

开发团队localai-org

所属国家

官网地址

GitHubhttps://github.com/localai-org/apex-quant

定价模式free

价格说明开源免费，无定价信息

访问状态

是否开源是

开源协议MIT

主要语言Shell

技术栈/模型

GitHub 星标★ 476

30天Star增速

HF 下载量

上线时间2026-03-30 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-17

浏览次数0

项目介绍

apex-quant 是一个面向专家混合模型（MoE）的混合精度量化工具，核心思路是「自适应精度」：不同专家对精度敏感度不同，统一量化会拖垮效果，它按专家粒度分配比特宽度，在压缩显存和加速推理的同时尽量保住模型质量。项目用 Shell 脚本封装量化流程，可对接主流 MoE 架构（如 Mixtral、DeepSeek-MoE 等）的权重，输出低比特权重供推理框架加载。它解决的是 MoE 模型参数量大、部署成本高，而传统整模型统一量化又容易在路由专家上掉点的问题。适合需要在有限显存下跑大 MoE、或想把 MoE 塞进消费级显卡的工程团队。当前星标约 476，属于早期项目，功能与文档仍在快速迭代中。