mllm

让手机本地跑起多模态大模型，离线推理更快更省电。

mllm 是一个专为移动设备设计的高效多模态大语言模型推理引擎，使用 C++ 编写。它解决了在手机等资源受限设备上运行多模态大模型（如视觉-语言模型）时面临的内存占用高、推理速度慢、功耗大等问题。mllm 提供了轻量级的模型加载与推理能力，支持多种量化方案，并针对移动端 CPU/GPU 进行了深度优化，使得开发者可以在本地设备上实现实时的图像理解和文本生成。其核心能力包括：高效的算子库、内存管理优化、以及跨平台支持（Android/iOS）。项目目前处于成长阶段，社区活跃度中等。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1614

维护状态较活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队UbiquitousLearning

所属国家

官网地址https://ubiquitouslearning.github.io/mllm

GitHubhttps://github.com/UbiquitousLearning/mllm

定价模式free

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言C++

技术栈/模型ai,llama,llm,mobile,multimodal

GitHub 星标★ 1614

30天Star增速

HF 下载量

上线时间2023-08-30 00:00:00

最近更新2026-09-21 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

难度：进阶约 20 分钟部署方式：Docker 4 步

环境要求

已安装 Git，可克隆 GitHub 仓库
已安装 Docker，且宿主机为 x86 架构（用于交叉编译到 ARM）
网络可访问 GitHub 以下载 NDK 等依赖
建议预留至少 4G 共享内存（docker run 中设置了 --shm-size=4G）

安装与启动步骤

1克隆仓库

从 GitHub 拉取 mllm 源码，后续 Dockerfile 都在仓库的 docker 目录中。
```
git clone https://github.com/UbiquitousLearning/mllm.git
```
2进入 docker 目录

Dockerfile.arm / Dockerfile.qnn 均位于仓库的 ./docker/ 目录下。
```
cd mllm/docker
```
3构建 ARM 镜像

用 Dockerfile.arm 构建名为 mllm_arm 的镜像，构建过程会下载 NDK，需耐心等待。
```
docker build -t mllm_arm -f Dockerfile.arm .
```

4启动开发容器

以特权相关参数启动容器并进入 bash，便于在容器内交叉编译与调试 mllm。

docker run -it --cap-add=SYS_ADMIN --network=host --cap-add=SYS_PTRACE --shm-size=4G --security-opt seccomp=unconfined --security-opt apparmor=unconfined --name mllm_arm_dev mllm_arm bash

如何确认成功

执行 docker run 后能直接进入容器内的 bash 提示符，即表示镜像构建与启动成功；镜像列表可用 docker images 查看 mllm_arm。

常见问题

Q：必须用 Docker 才能用 mllm 吗？

A：README 只给出了 Docker 这条推荐路径（提供 arm 与 qnn 两种交叉编译镜像），非 Docker 的本地编译方式请查阅官网文档。

Q：为什么 QNN SDK 不在镜像里？

A：QNN SDK 含专有许可条款，官方未将其打包进 Dockerfile.qnn，需要你自行手动配置 QNN SDK 路径。

Q：构建镜像会额外下载什么？

A：Dockerfile.arm 会下载 NDK，使用该镜像即表示你同意 NDK 的附加条款。

Q：怎么把 mllm 集成进自己的 C++ 项目？

A：在 CMake 中用 target_link_libraries 链接 mllm::MllmRT 与 mllm::MllmCPUBackend 目标即可。

注意事项

Dockerfile.arm 会下载 NDK，使用该镜像即视为同意 NDK 的附加条款。
QNN SDK 含专有许可未打包，需自行配置；细节见 docker/README.md。
在自己项目中链接运行时可写：target_link_libraries(fancy_algorithm PRIVATE mllm::MllmRT mllm::MllmCPUBackend)。
README 未给出具体的模型下载与推理运行命令，请参考官网文档与 examples 目录。

核心亮点

专门为移动端优化，推理速度和内存占用优于通用框架
支持多种量化技术，降低模型部署门槛
C++ 实现，跨平台性好，易于集成到 Android/iOS 应用

不足之处

项目仍处于早期，API 和功能稳定性有待提升
支持的模型架构有限，生态不如 llama.cpp 丰富

适用场景

在手机上实现离线图像问答和视觉辅助
开发低延迟的移动端 AI 助手，无需联网
在嵌入式设备上部署多模态模型进行实时推理

替代项目

llama.cpp、MLC LLM、MediaPipe LLM Inference

项目介绍

mllm 是开源模型领域的开源项目，由 UbiquitousLearning 开发，2023 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（1,614）位列前 30%，在开源模型分类中处于中上游。

近 42 天，它的 GitHub 星标从 1,585 增加到 1,614，净增 29。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-21。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：在手机上实现离线图像问答和视觉辅助。同类可对比的替代方案包括 llama.cpp、MLC LLM、MediaPipe LLM Inference。

上一篇：ModernBERT

下一篇：VibeThinker