InferrLM

在手机本地跑 AI，无需联网，保护隐私

InferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架，基于 TypeScript 构建，旨在让移动应用无需依赖云端即可运行 AI 模型。它解决的是移动端设备上 AI 推理的性能、隐私和离线可用性问题，核心能力包括模型加载、推理执行、设备适配和轻量级 API。通过将 AI 能力下沉到设备端，InferrLM 能降低延迟、保护用户数据隐私，并支持在无网络环境下使用。项目处于早期阶段，星标 105，适合开发者探索端侧 AI 集成。

开源 free 搜索知识
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 112
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类搜索知识
开发团队loomax-labs
所属国家
官网地址
GitHubhttps://github.com/loomax-labs/InferrLM
定价模式free
价格说明开源项目，AGPL-3.0许可，可自行部署使用，无在线服务或付费版本。
访问状态
是否开源是
开源协议AGPL-3.0
主要语言TypeScript
技术栈/模型anthropic,document-processing,edge-ai,embeddings,gemini,gguf,http-server,llama-cpp,llamacpp,local-inference,local-llm,multimodal-ai,on-device-ai,openai,rag
GitHub 星标★ 112
30天Star增速
HF 下载量
上线时间2025-02-09 00:00:00
最近更新2026-09-17 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 端侧推理，数据不出设备，隐私安全有保障
  • 跨平台支持 iOS 和 Android，一套代码多端复用
  • 基于 TypeScript，对前端开发者友好，易于集成

不足之处

  • 项目早期，文档和社区生态待观察
  • 模型兼容性和性能优化需更多实践验证

适用场景

  • 移动应用集成离线 AI 功能，如智能回复、图像识别
  • 对隐私敏感的场景，如医疗、金融类 App 的本地分析
  • 网络不稳定环境下的 AI 应用，如野外导航、应急工具

替代项目

TensorFlow Lite、ONNX Runtime Mobile、ML Kit

项目介绍

InferrLM 是基础设施领域的开源项目，由 loomax-labs 开发，2025 年首次发布。

它收录于基础设施分类，该分类目前共有 1,133 个项目，GitHub 星标数为 112。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-17。AGPL-3.0许可，可自行部署使用，无在线服务或付费版本。

它主要面向的使用场景是：移动应用集成离线AI功能，如智能回复、图像识别。同类可对比的替代方案包括 TensorFlow Lite、ONNX Runtime Mobile、ML Kit。

上一篇：gibram

下一篇：fastembed-go

同类项目推荐

freebuff-proxy 开源

聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。

[DEPRECATED / UNMAINTAINED] Multi-account gateway. No longer maintained; fork it and···

★ 303 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型，免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09