MNN

阿里出品，手机端跑大模型，快人一步

MNN是阿里巴巴开源的一款轻量级深度学习推理引擎，专注于移动端和边缘设备的高性能模型推理。它解决了在资源受限的设备上高效运行AI模型的问题，支持TensorFlow、PyTorch、ONNX等多种主流模型格式的转换和优化。MNN具备模型压缩、量化、算子融合等优化技术，能够显著提升推理速度和降低内存占用。其核心能力包括跨平台支持（iOS、Android、嵌入式设备）、CPU/GPU/NPU多后端加速，以及针对大语言模型（LLM）的端侧部署优化。MNN已在阿里巴巴内部大规模应用，服务于淘宝、天猫等业务的图像识别、推荐、AR等场景，并持续开源迭代，为开发者提供稳定、高效的端侧AI解决方案。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 16129

维护状态活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队alibaba

所属国家

官网地址

GitHubhttps://github.com/alibaba/MNN

定价模式free

价格说明开源推理引擎，Apache-2.0许可，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言C++

技术栈/模型arm,convolution,deep-learning,embedded-devices,llm,machine-learning,ml,mnn,transformer,vulkan,winograd-algorithm

GitHub 星标★ 16129

30天Star增速

HF 下载量

上线时间2019-04-15 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：进阶约 10 分钟部署方式：库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

可访问 GitHub 的 git 环境（用于克隆源码）
C++ 开发环境（MNN 为 C++ 编写的推理引擎）
按目标平台准备对应工具链：iOS、Android 或嵌入式设备
可选：高通 Hexagon DSP 设备（3.6.1 新增 Hexagon 后端用于加速推理）

安装与启动步骤

1克隆 MNN 仓库

从 GitHub 获取 MNN 源码，后续编译与示例应用都基于该目录进行。
```
git clone https://github.com/alibaba/MNN.git
```
2阅读仓库文档

本次 README 节选只有 News，没有安装说明；请打开仓库 README 查找编译与使用章节，按官方步骤操作。
3查看功能示例

README 提到 apps 目录下有多类示例（如 Sana 图像编辑、Android/iOS LLM 应用），可按需参考，但节选未给出具体命令。
4了解 Hexagon 后端

若使用高通 Hexagon DSP 加速，README 指向 source/backend/hexagon/README.md，请以该文档为准。

如何确认成功

README 节选未提供编译/启动命令与验证方式，无法给出可执行验证步骤；建议以仓库 README 的官方说明运行示例后确认。

常见问题

Q：README 里没有安装命令，怎么安装？

A：本次节选仅包含 News 列表，未包含编译安装说明。请到 https://github.com/alibaba/MNN 仓库根目录 README 与 docs 查看官方编译步骤。

Q：想在 Android 上体验本地大模型对话，看哪里？

A：参考 apps/Android/MnnLlmChat（MNN Chat App），README 提到其支持 Qwen3、Qwen2.5 omni 3B/7B、DeepSeek R1 1.5B 等模型。

Q：iOS 端有没有现成的多模态大模型应用？

A：有。README News 提到 2025/02/18 发布 iOS 多模态 LLM App，路径为 apps/iOS/MNNLLMChat。

Q：新版 Hexagon 后端是什么？

A：MNN 3.6.1 新增 Hexagon 后端，可在高通 Hexagon DSP 上加速模型推理，详情见 source/backend/hexagon/README.md。

注意事项

本教程依据的 README 节选仅含 News 内容，没有安装/编译命令，因此步骤只包含可确证的仓库获取与文档查阅动作，未包含任何推测的构建命令。
MNN 支持 TensorFlow、PyTorch、ONNX 等模型格式的转换与优化，实际转换命令请以官方文档为准。
项目核心为 C++ 推理引擎，跨 iOS、Android 与嵌入式平台，具体平台构建方式差异较大，请查阅对应平台文档。
README 中提到的 Qwen3.5、Qwen3-VL 等支持信息来自官方 News，实际可用版本请以仓库最新说明为准。

核心亮点

推理速度极快，在移动端CPU/GPU上性能优于同类引擎，且内存占用低
支持主流模型格式（TensorFlow、PyTorch、ONNX）转换，并提供量化压缩工具
跨平台覆盖iOS/Android/嵌入式，并支持多后端（CPU/GPU/NPU）自动调度

不足之处

文档以中文为主，英文资料相对较少，国际化社区支持待加强
部分高级特性（如NPU适配）依赖特定硬件，通用性有限

适用场景

移动端AI应用（图像分类、目标检测、OCR等）
端侧大语言模型部署（如智能助手、离线翻译）
IoT和嵌入式设备上的实时推理

替代项目

TensorFlow Lite、PyTorch Mobile、ONNX Runtime

项目介绍

MNN 是基础设施领域的开源项目，由 alibaba 开发，2019 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（16,129）位列前 3%，在基础设施分类的 1,132 个项目里位列前 5%。

近 41 天，它的 GitHub 星标从 15,862 增加到 16,129，净增 267。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。开源推理引擎，Apache-2.0许可，完全免费，可自行部署使用。

它主要面向的使用场景是：移动端AI应用（图像分类、目标检测、OCR等）。同类可对比的替代方案包括 TensorFlow Lite、PyTorch Mobile、ONNX Runtime。

上一篇：omlx

下一篇：unstructured

MNN