local-llms-on-android
把大模型装进口袋，离线也能智能对话
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 485
使用教程
环境要求
- Android 手机
- 足够存储空间
安装与启动步骤
-
1装基础安装包
先装体积较小的主程序。
-
2下模型
模型在应用内下载或从外部导入。
-
3同局域网访问
它能把手机变成局域网内的推理服务。
-
4用兼容客户端连
电脑端可用兼容接口的客户端接进来。
如何确认成功
手机端能离线完成一轮对话，且同一局域网内的电脑通过兼容客户端也能连上并提问
注意事项
- 它让安卓手机本地跑模型，卖点是离线与私密，适合没有独立显卡的场景。
- 能力受手机内存与散热限制，大模型跑不动。
- 局域网服务模式要求同一网段，跨网需要自己打洞。
- 应用有测试渠道与付费版本两条线，功能可用性看当前版本说明。
核心亮点
- 支持 Gemma、Qwen、LLaMA 等多种主流模型，选择灵活
- 基于 LiteRT 和 ONNX Runtime，针对移动端优化，推理速度快
- 完全离线运行，保护隐私，无网络延迟
不足之处
- 早期项目，文档和社区支持待观察
- 受限于手机硬件，模型规模和效果不如云端
适用场景
- 隐私敏感场景，如医疗咨询、个人助理
- 无网络环境，如飞机、偏远地区
- 开发者快速构建离线 AI 对话应用
替代项目
llama.cpp、MLC LLM、MediaPipe LLM Inference
下一篇：orbit
同类项目推荐
anythingmcp
开源
无需代码，把任意 API/数据库变成 AI 的 MCP 连接器
Enterprise Agent Harness & MCP Gateway: connect APIs, databases, file servers and 60···
orthrus
开源
双视角扩散解码，让大模型推理更快且无损
[NeurIPS 2026 Spotlight] Fast, lossless LLM inference via dual-view diffusion decodi···
gpu-unlock-ada
开源
本地生成固件，释放 Ada 显卡张量算力
GPU tensor unlock source for RTX 4090 and experimental RTX 4070 Ti SUPER; firmware g···
lance
开源
两行代码转换 Parquet，让多模态 AI 数据访问快 100 倍
Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for···
awesome-ai-memory
开源
一张清单，快速摸清AI记忆项目全貌
A list of AI memory projects
kiwi-mem
开源
给 AI 伴侣装上会遗忘、会做梦的长期记忆
Self-hosted memory gateway for AI companions — OpenAI-compatible proxy with vector ···
apisix
开源
云原生 API 网关，动态热更新，轻松管理 AI 与大模型流量。
The Cloud-Native API Gateway and AI Gateway
tracecrate
开源
本地查看 Claude Code 运行轨迹，对比两次执行差异
Local-first AI agent trace workbench. Inspect Claude Code, Codex and OTLP logs, comp···
ai-memory-gateway
开源
给任何AI加上长期记忆，改个接口就行
给AI加长期记忆的轻量网关 / A lightweight gateway that adds long-term memory to any L···