把大模型装进口袋，离线也能智能对话
这是一个在 Android 设备上本地运行大语言模型（LLM）的开源项目，支持 Gemma、Qwen、LLaMA 等主流模型，通过 LiteRT 和 ONNX Runtime 实现离线、私密的实时对话和问答。项目旨在解决云端 LLM 的隐私泄露、网络依赖和高延迟问题，让用户完全掌控自己的数据。核心能力包括模型量化与优化、流式输出、多模型切换、以及针对移动端的性能调优。它提供了简洁的 API 和示例代码，方便开发者集成到自己的 Android 应用中。项目采用 Kotlin 编写，技术栈涵盖 HuggingFace Tokenizers 等，适合对隐私敏感或需要离线使用的场景。
llama.cpp、MLC LLM、MediaPipe LLM Inference
local-llms-on-android 是基础设施领域的开源项目，由 dineshsoudagar 开发，2025 年首次发布。
它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 419。
近 42 天，它的 GitHub 星标从 377 增加到 419，净增 42。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-20。MIT许可证，完全免费，可自行部署到Android设备使用。
它主要面向的使用场景是：隐私敏感场景，如医疗咨询、个人助理。同类可对比的替代方案包括 llama.cpp、MLC LLM、MediaPipe LLM Inference。
下一篇：orbit
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
