MNNServer
在手机上跑本地AI服务，离线也能语音对话和识别
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 163
核心亮点
- 基于MNN优化，推理速度快，适合移动端部署
- 集成LLM、TTS、ASR多种模型，一站式服务
- 支持外部调用，提供API接口，便于集成到应用中
不足之处
- 早期项目，文档和社区生态尚不完善
- 主要面向Android，跨平台支持有限
适用场景
- 手机端离线语音助手，实现本地语音识别与合成
- 边缘设备上的智能问答系统，无需云端依赖
- 嵌入式设备中部署向量检索或文本理解功能
替代项目
MNN、NCNN、ONNX Runtime
上一篇：split-lang
下一篇：tinylm
同类项目推荐
yek
开源
把整个代码库一键打包成 LLM 能懂的上下文
A fast Rust based tool to serialize text-based files in a repository or directory fo···
cc-statistics
开源
一个面板看穿所有AI编程工具的花费与效率
AI Coding stats dashboard — track costs, tokens, and efficiency across Claude Code ···
recodex
开源
自建 Codex 中转站，轻松管理 AI 请求
Codex中转，可自部署的代理服务
APIPark
开源
一个网关管所有AI大模型，统一接入、负载均衡、灾备无忧。
Cloud native, ultra-high performance AI&API gateway, LLM API management, distributio···
llmserve
开源
终端里选模型选后端，一键把本地 LLM 跑起来
A simple TUI for serving local LLM models. Pick a model, pick a backend, serve it
llm-inference
开源
快速搭建基于开源大模型的聊天机器人，省去推理部署烦恼
Large Language Model (LLM) Inference API and Chatbot
rivet
开源
给 AI 智能体和协作应用装上持久记忆与实时状态
The orchestrator for agentic workloads. A fast, high-density and scalable orchestrat···
rknn-llm
开源
把大模型塞进瑞芯微开发板，NPU 加速离线跑
Fooocus-API
开源
把 Fooocus 变成 API，一行代码接入图像生成
FastAPI powered API for Fooocus