
ncnn_llm
让大模型在手机端离线跑起来,不依赖 GPU 和 Python。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 254
核心亮点
- 基于 ncnn,天然支持 Vulkan 和 ARM CPU,移动端部署路径清晰
- 纯 C++ 实现,依赖少,方便嵌入 Android/iOS App
- 复用 ncnn 的量化与算子优化,端侧内存和速度有优化空间
不足之处
- 项目处于早期,星标仅 250,文档和示例较少
- 支持的模型种类和量化方案有限,生态成熟度不及 llama.cpp
适用场景
- Android/iOS 离线聊天助手,数据不出设备
- 嵌入式设备上的本地语音助手或问答模块
- 学习端侧 LLM 推理流程与 ncnn 集成的参考项目
替代项目
llama.cpp、mnn-llm
下一篇:ultracontext
同类项目推荐
vLLM-metax
开源
让 vLLM 跑在沐曦 GPU 上,国产卡也能高吞吐推理
Community maintained hardware plugin for vLLM on MetaX GPU
airy
开源
把历史与实时数据汇成一条流,直接喂给应用和 AI
Open Source App Framework to build streaming apps with real-time data - Build real···
LongLive
开源
让视频生成突破时长限制,轻松产出长视频。
Long Video Gen / World Model / World Action Model (Embodied) Infrastructure
surprisal
开源
统一接口,一键计算任意语言模型的惊异度
A unified interface for computing surprisal (log probabilities) from language models···
split-lang
开源
一句话拆开混合语言,让 NLP 更精准
✨ Split text by languages (e.g. 你喜欢看アニメ吗 -> 你喜欢看 | アニメ | 吗) for NLP···
redis
开源
高性能内存数据库,搞定缓存、队列和实时查询
For developers, who are building real-time data-driven applications, Redis is the pr···
starling
开源
在 .NET 里跑本地 AI,不用 Python 也不用 API Key
Local AI in .NET, with no Python sidecar and no API key: embeddings, entity extracti···
llm-metadata
开源
统一查询 LLM 元数据,告别硬编码模型信息
A lightweight interface for accessing and integrating LLM metadata, enabling applica···
wingman
开源
统一管理所有 AI 模型调用,让推理服务更稳更可控
Inference Hub for AI at Scale