magnitude

按你的硬件自动调内核，本地跑模型更快

开源 🏷️定价信息待确认 ⏳ 访问状态待核验基础设施 🍴 复刻 525 🐛 待处理 42 👀 关注 33

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 7418

维护状态活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

项目数据

分类基础设施

开发团队magnitudedev

官网地址https://magnitude.dev

GitHubhttps://github.com/magnitudedev/magnitude

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态⏳ 访问状态待核验

是否开源是

开源协议Apache-2.0

主要语言Rust

GitHub 星标★ 7418

上线时间2026-06-12 00:00:00

代码更新2026-10-28

仓库体积149.4 MB

本站数据更新2026-10-29

维护状态活跃

收录时间2026-10-29

浏览次数0

项目介绍

Magnitude 是一个用 Rust 编写的开源本地大模型推理引擎，核心思路是“按硬件自动调优内核”：启动或加载模型时，它会针对当前机器的 CPU、GPU 与内存特性，搜索并选择更合适的算子实现与执行配置，从而找到该硬件上更快的运行路径。它面向希望在本地运行开源模型、又不想手工折腾编译参数和推理后端的开发者与团队，提供统一接口，兼容 Apple Silicon、NVIDIA、AMD、Intel 以及纯 CPU 环境，降低跨平台部署成本。项目宣称在部分场景下比 Ollama 快约 2 倍，强调性能而非生态规模。适合做本地推理服务、边缘设备部署和推理性能对比实验，也可作为研究内核自动调优与异构硬件适配的工程参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-29 · 当前星标 ★ 7418

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 10 分钟部署方式：命令行工具 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Linux 或 macOS 系统（README 的服务器方式仅说明支持这两个平台）
受支持的硬件环境：Apple Silicon、NVIDIA、AMD、Intel 或纯 CPU
可执行安装命令的终端环境与相应的安装权限

安装与启动步骤

1确认系统与硬件

先确认机器是 Linux 或 macOS，并属于 Apple Silicon、NVIDIA、AMD、Intel 或纯 CPU 中的一种，以便引擎按硬件自动调优。
2获取并安装

README 只提供官方下载入口，未给出安装命令；请从官网下载页获取对应平台的安装包或安装方式。
3部署为系统服务

在 Linux 或 macOS 上执行该命令，把 Magnitude 注册为后台服务，使其开机自启并在登出后继续运行。
```
magnitude server setup
```
4确认服务状态

执行后服务会在系统启动时自动拉起；网络中的其他电脑可通过浏览器访问该服务。