OlliteRT
把安卓手机变成本地 OpenAI 接口推理服务器
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-06 · 当前星标 ★ 614
核心亮点
- 提供 OpenAI 兼容 API，现有客户端和脚本几乎无需改造即可接入
- 推理全程在手机本地完成，数据不出设备，隐私边界清晰
- 基于 LiteRT-LM 端侧推理，支持 Gemma 等模型，可复用安卓硬件加速
不足之处
- 受手机内存和算力限制，可运行模型规模与推理速度有限
- 早期项目，模型格式兼容性、稳定性和文档完善度仍在演进
适用场景
- 把闲置安卓手机改造成家庭局域网内的私有 LLM 接口节点
- 智能家居语音助手后端，本地处理指令与问答，减少云端依赖
- 移动端 AI 应用原型开发，快速验证端侧模型与 OpenAI 接口对接
替代项目
llama.cpp、Ollama、MLC LLM
上一篇：janas
同类项目推荐
llmserve
开源
终端里选模型选后端，一键把本地 LLM 跑起来
A simple TUI for serving local LLM models. Pick a model, pick a backend, serve it
openclaw-dashboard
开源
自托管面板，实时看住 AI 智能体的行为与花费
Secure, real-time monitoring dashboard for OpenClaw AI agents. Auth, TOTP MFA, cost ···
robustmq
开源
一个二进制搞定多协议消息通信，省掉一堆中间件
Communication infrastructure for the AI era — one binary, one broker, one storage l···
Recall
开源
切换 AI 助手，不丢历史记忆，本地搜索所有编码会话
Switch agents. Keep the history. Local-first search across your AI coding sessions.
ccs
开源
一个命令行搞定所有 AI 账号和模型切换
Switch between Claude accounts, Gemini, Copilot, OpenRouter (300+ models) via CLIPro···
Strata
开源
一键把大模型装进自己电脑，本地 API 即开即用
Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. ···
llama3.java
开源
纯 Java 跑 Llama 3，不装 Python 也能本地推理
Llama 3+ inference in pure Java
NeuroSandboxWebUI
开源
一个界面玩转本地文本、图像、视频、音频 AI 模型
(Windows/Linux/MacOS) Local WebUI with neural network models (Text, Image, Video, 3D···
KsanaDiT
开源
让视频生成模型推理更快，部署更省心
KsanaDiT: High-Performance DiT (Diffusion Transformer) Inference Framework for Video···