MNNServer 是基础设施领域的开源项目，由 sunshine0523 开发，2025 年首次发布。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 163。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-14。可自行部署，完全免费。
它主要面向的使用场景是：手机端离线语音助手，实现本地语音识别与合成。同类可对比的替代方案包括 MNN、NCNN、ONNX Runtime。
MNNServer
在手机上跑本地AI服务，离线也能语音对话和识别
MNNServer 是一个基于阿里 MNN 推理引擎的第三方服务器，旨在为移动端和边缘设备提供本地化的 AI 模型服务。它解决了在资源受限环境下高效运行深度学习模型的问题，支持外部调用、向量嵌入、文本转语音（TTS）和语音识别（ASR）等核心功能。项目采用 C++ 实现，深度集成 Android 平台，能够将 LLM、ASR、TTS 等模型部署为可远程访问的服务，便于开发者构建离线或低延迟的 AI 应用。其核心能力包括模型管理、推理加速、多模型支持以及简单的 API 接口，适合作为边缘计算场景下的轻量级推理后端。
开源
free
音频音乐
GitHub 星标
★ 163
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类音频音乐
开发团队sunshine0523
所属国家
定价模式free
价格说明开源项目，可自行部署，完全免费。
访问状态
是否开源是
开源协议NOASSERTION
主要语言C++
技术栈/模型android,asr,llm,mnn,tts
GitHub 星标★ 163
30天Star增速
HF 下载量
上线时间2025-05-25 00:00:00
最近更新2026-09-14 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 基于MNN优化，推理速度快，适合移动端部署
- 集成LLM、TTS、ASR多种模型，一站式服务
- 支持外部调用，提供API接口，便于集成到应用中
不足之处
- 早期项目，文档和社区生态尚不完善
- 主要面向Android，跨平台支持有限
适用场景
- 手机端离线语音助手，实现本地语音识别与合成
- 边缘设备上的智能问答系统，无需云端依赖
- 嵌入式设备中部署向量检索或文本理解功能
替代项目
MNN、NCNN、ONNX Runtime
项目介绍
上一篇：split-lang
下一篇：tinylm
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···