matmulfreellm

去掉矩阵乘法，让大模型在普通硬件上跑得更快更省

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 204 🐛 待处理 24 👀 关注 49

GitHub ↗

GitHub 星标 ★ 3101

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0许可，可自由使用，无收费计划。

项目预览

matmulfreellm 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队ridgerchu

GitHubhttps://github.com/ridgerchu/matmulfreellm

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0许可，可自由使用，无收费计划。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型large-language-model,linear-transformer,llm

GitHub 星标★ 3101

上线时间2024-04-23 00:00:00

代码更新2026-09-06

仓库体积1.6 MB

本站数据更新2026-11-08

维护状态维护中

收录时间2026-08-09

浏览次数5

项目介绍

MatMul-Free LM 是一个无矩阵乘法语言模型的实现，旨在消除 Transformer 大模型中最耗时的矩阵乘法运算，从而大幅降低推理时的计算量和内存带宽需求。项目通过使用三元权重（-1, 0, 1）和逐元素操作替代传统矩阵乘法，在保持模型性能的同时，实现了更高效的训练和推理。它解决了大模型在边缘设备或资源受限环境下的部署难题，核心能力包括：提供完整的模型定义、训练脚本和推理示例，支持从头训练或微调，并展示了在语言建模任务上与传统 Transformer 相当的性能。该实现基于论文《Scalable MatMul-free Language Modeling》，为研究者和开发者提供了一个探索无乘法器架构的实用工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3101

技术标签

large-language-model llm

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 10 分钟部署方式：库/依赖 4 步

环境要求

Python 环境（用于 pip 安装）
PyTorch >= 2.0
Triton >= 2.2
einops

安装与启动步骤

1确认 Python 环境

先确认本机已装好 Python 和 pip，后续 pip 安装命令依赖该环境。建议使用独立虚拟环境，避免与其他项目依赖冲突。
```
python --version
```
2安装前置依赖

按 README 要求准备 PyTorch 2.0 及以上、Triton 2.2 及以上、einops 三个依赖，请按官方渠道选择匹配自己 CUDA 的版本。
```
pip install -U torch triton einops
```
3安装 matmulfreellm

这是 README 给出的唯一安装命令，直接从 GitHub 仓库源码安装，需保证网络可访问 github.com。
```
pip install -U git+https://github.com/ridgerchu/matmulfreellm
```
4确认安装结果

查看包是否已正确安装到当前环境。README 未给出导入示例，因此这里只确认包信息，不做额外推断。
```
pip show matmulfreellm
```