InferrLM

在手机本地跑 AI,无需联网,保护隐私

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 24 🐛 待处理 1 👀 关注 4
GitHub ↗
GitHub 星标 ★ 114
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,AGPL-3.0许可,可自行部署使用,无在线服务或付费版本。

项目预览

InferrLM 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队loomax-labs
定价模式🏷️完全免费
价格说明开源项目,AGPL-3.0许可,可自行部署使用,无在线服务或付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议AGPL-3.0
主要语言TypeScript
技术栈/模型anthropic,document-processing,edge-ai,embeddings,gemini,gguf,http-server,llama-cpp,llamacpp,local-inference,local-llm,multimodal-ai,on-device-ai,openai,rag
GitHub 星标★ 114
上线时间2025-02-09 00:00:00
代码更新2026-09-26
仓库体积217.8 MB
本站数据更新2026-11-10
维护状态维护中
收录时间2026-08-09
浏览次数4

项目介绍

InferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架,基于 TypeScript 构建,旨在让移动应用无需依赖云端即可运行 AI 模型。它解决的是移动端设备上 AI 推理的性能、隐私和离线可用性问题,核心能力包括模型加载、推理执行、设备适配和轻量级 API。通过将 AI 能力下沉到设备端,InferrLM 能降低延迟、保护用户数据隐私,并支持在无网络环境下使用。项目处于早期阶段,星标 105,适合开发者探索端侧 AI 集成。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 114

核心亮点

  • 端侧推理,数据不出设备,隐私安全有保障
  • 跨平台支持 iOS 和 Android,一套代码多端复用
  • 基于 TypeScript,对前端开发者友好,易于集成

不足之处

  • 项目早期,文档和社区生态待观察
  • 模型兼容性和性能优化需更多实践验证

适用场景

  • 移动应用集成离线 AI 功能,如智能回复、图像识别
  • 对隐私敏感的场景,如医疗、金融类 App 的本地分析
  • 网络不稳定环境下的 AI 应用,如野外导航、应急工具

替代项目

TensorFlow Lite、ONNX Runtime Mobile、ML Kit

上一篇:gibram

下一篇:fastembed-go

同类项目推荐

gpt2giga 开源

改个地址,现有 LLM 客户端直接接 GigaChat

FastAPI proxy for OpenAI, Anthropic and Gemini compatible clients backed by the Giga···

★ 144 2026-10-31
featureform 开源

把已有数据库变成特征存储,无需迁移,快速上线ML特征。

The Virtual Feature Store. Turn your existing data infrastructure into a feature sto···

★ 1991 2026-08-09
dola-render-gateway 开源

统一调度视频生成任务,让并发请求不打架

High-performance video generation gateway and session coordinator

★ 245 2026-09-29
llmaker 开源

终端一键拉起整套自托管 LLM 服务栈

Selfhost modern LLM stacks. Run the whole fleet from your terminal

★ 105 2026-08-09
MinivLLM 开源

用最小代码读懂 vLLM 推理内核

Based on Nano-vLLM, a simple replication of vLLM with self-contained paged attention···

★ 1105 2026-09-16
privacy-filter 开源

给 LLM 请求装个隐私过滤器,毫秒级脱敏,防数据泄露

LLM privacy gateway in Go — millisecond-latency PII and secret redaction. Used in p···

★ 338 2026-08-09
opentraces 开源

给 AI Agent 装上黑匣子,完整记录每一步操作,调试审计不再抓瞎。

A local-first evidence layer for agent work, capturing what the agent sees, does, an···

★ 103 2026-08-09
awesome-mlops 开源

一张清单,快速摸清 MLOps 工具全家桶,选型不抓瞎

:sunglasses: A curated list of awesome MLOps tools

★ 5314 2026-08-09
ai-infra-landscape 开源

一张图看懂生成式AI基础设施全景,快速定位技术选型

This is a landscape of the infrastructure that powers the generative AI ecosystem

★ 156 2026-08-09