mllm

让手机本地跑起多模态大模型，离线推理更快更省电。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 221 🐛 待处理 88 👀 关注 30

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1635

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队UbiquitousLearning

官网地址https://ubiquitouslearning.github.io/mllm

GitHubhttps://github.com/UbiquitousLearning/mllm

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言C++

技术栈/模型ai,llama,llm,mobile,multimodal

GitHub 星标★ 1635

上线时间2023-08-30 00:00:00

代码更新2026-09-30

仓库体积54.5 MB

本站数据更新2026-11-09

维护状态维护中

收录时间2026-08-09

浏览次数6

项目介绍

mllm 是一个专为移动设备设计的高效多模态大语言模型推理引擎，使用 C++ 编写。它解决了在手机等资源受限设备上运行多模态大模型（如视觉-语言模型）时面临的内存占用高、推理速度慢、功耗大等问题。mllm 提供了轻量级的模型加载与推理能力，支持多种量化方案，并针对移动端 CPU/GPU 进行了深度优化，使得开发者可以在本地设备上实现实时的图像理解和文本生成。其核心能力包括：高效的算子库、内存管理优化、以及跨平台支持（Android/iOS）。项目目前处于成长阶段，社区活跃度中等。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1635

技术标签

ai llama llm mobile multimodal

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 20 分钟部署方式：Docker 4 步

环境要求

已安装 Git，可克隆 GitHub 仓库
已安装 Docker，且宿主机为 x86 架构（用于交叉编译到 ARM）
网络可访问 GitHub 以下载 NDK 等依赖
建议预留至少 4G 共享内存（docker run 中设置了 --shm-size=4G）

安装与启动步骤

1克隆仓库

从 GitHub 拉取 mllm 源码，后续 Dockerfile 都在仓库的 docker 目录中。
```
git clone https://github.com/UbiquitousLearning/mllm.git
```
2进入 docker 目录

Dockerfile.arm / Dockerfile.qnn 均位于仓库的 ./docker/ 目录下。
```
cd mllm/docker
```
3构建 ARM 镜像

用 Dockerfile.arm 构建名为 mllm_arm 的镜像，构建过程会下载 NDK，需耐心等待。
```
docker build -t mllm_arm -f Dockerfile.arm .
```

4启动开发容器

以特权相关参数启动容器并进入 bash，便于在容器内交叉编译与调试 mllm。

docker run -it --cap-add=SYS_ADMIN --network=host --cap-add=SYS_PTRACE --shm-size=4G --security-opt seccomp=unconfined --security-opt apparmor=unconfined --name mllm_arm_dev mllm_arm bash

如何确认成功

执行 docker run 后能直接进入容器内的 bash 提示符，即表示镜像构建与启动成功；镜像列表可用 docker images 查看 mllm_arm。

常见问题

Q：必须用 Docker 才能用 mllm 吗？

A：README 只给出了 Docker 这条推荐路径（提供 arm 与 qnn 两种交叉编译镜像），非 Docker 的本地编译方式请查阅官网文档。

Q：为什么 QNN SDK 不在镜像里？

A：QNN SDK 含专有许可条款，官方未将其打包进 Dockerfile.qnn，需要你自行手动配置 QNN SDK 路径。

Q：构建镜像会额外下载什么？

A：Dockerfile.arm 会下载 NDK，使用该镜像即表示你同意 NDK 的附加条款。

Q：怎么把 mllm 集成进自己的 C++ 项目？

A：在 CMake 中用 target_link_libraries 链接 mllm::MllmRT 与 mllm::MllmCPUBackend 目标即可。

注意事项

Dockerfile.arm 会下载 NDK，使用该镜像即视为同意 NDK 的附加条款。
QNN SDK 含专有许可未打包，需自行配置；细节见 docker/README.md。
在自己项目中链接运行时可写：target_link_libraries(fancy_algorithm PRIVATE mllm::MllmRT mllm::MllmCPUBackend)。
README 未给出具体的模型下载与推理运行命令，请参考官网文档与 examples 目录。