ncnn_llm

让大模型在手机端离线跑起来,不依赖 GPU 和 Python。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 56 🐛 待处理 20 👀 关注 4
GitHub ↗
GitHub 星标 ★ 254
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费,基于ncnn推理框架

项目预览

ncnn_llm 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队futz12
定价模式🏷️完全免费
价格说明开源免费,基于ncnn推理框架
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言C++
GitHub 星标★ 254
上线时间2025-10-16 00:00:00
代码更新2026-10-07
仓库体积4.9 MB
本站数据更新2026-11-21
维护状态维护中
收录时间2026-10-06
浏览次数4

项目介绍

ncnn_llm 是一个把大语言模型推理搬到 ncnn 框架上的开源项目,用 C++ 实现,目标是在手机、嵌入式设备等没有 CUDA 或独立显卡的平台上跑 LLM。它解决的是端侧部署难的问题:主流推理框架往往依赖 Python、PyTorch 或 GPU,难以直接塞进移动 App。项目基于腾讯的 ncnn 高性能神经网络推理库,复用其 Vulkan/CPU 后端和量化能力,把 LLM 的权重加载、KV Cache、采样等流程用 C++ 重写,让开发者可以在 Android、iOS 或 Linux 上以较小依赖运行对话模型。核心能力包括模型权重转换与加载、推理调度、以及面向端侧的内存与速度优化,适合需要离线、低延迟、隐私敏感场景的开发者参考或二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 254

核心亮点

  • 基于 ncnn,天然支持 Vulkan 和 ARM CPU,移动端部署路径清晰
  • 纯 C++ 实现,依赖少,方便嵌入 Android/iOS App
  • 复用 ncnn 的量化与算子优化,端侧内存和速度有优化空间

不足之处

  • 项目处于早期,星标仅 250,文档和示例较少
  • 支持的模型种类和量化方案有限,生态成熟度不及 llama.cpp

适用场景

  • Android/iOS 离线聊天助手,数据不出设备
  • 嵌入式设备上的本地语音助手或问答模块
  • 学习端侧 LLM 推理流程与 ncnn 集成的参考项目

替代项目

llama.cpp、mnn-llm

上一篇:tensorrtllm_backend

下一篇:ultracontext

同类项目推荐

vLLM-metax 开源

让 vLLM 跑在沐曦 GPU 上,国产卡也能高吞吐推理

Community maintained hardware plugin for vLLM on MetaX GPU

★ 192 2026-09-16
airy 开源

把历史与实时数据汇成一条流,直接喂给应用和 AI

Open Source App Framework to build streaming apps with real-time data - Build real···

★ 403 2026-11-15
LongLive 开源

让视频生成突破时长限制,轻松产出长视频。

Long Video Gen / World Model / World Action Model (Embodied) Infrastructure

★ 2893 2026-08-09
surprisal 开源

统一接口,一键计算任意语言模型的惊异度

A unified interface for computing surprisal (log probabilities) from language models···

★ 53 2026-08-09
split-lang 开源

一句话拆开混合语言,让 NLP 更精准

✨ Split text by languages (e.g. 你喜欢看アニメ吗 -> 你喜欢看 | アニメ | 吗) for NLP···

★ 74 2026-08-09
redis 开源

高性能内存数据库,搞定缓存、队列和实时查询

For developers, who are building real-time data-driven applications, Redis is the pr···

★ 77576 2026-08-29
starling 开源

在 .NET 里跑本地 AI,不用 Python 也不用 API Key

Local AI in .NET, with no Python sidecar and no API key: embeddings, entity extracti···

★ 211 2026-11-20
llm-metadata 开源

统一查询 LLM 元数据,告别硬编码模型信息

A lightweight interface for accessing and integrating LLM metadata, enabling applica···

★ 153 2026-08-09
wingman 开源

统一管理所有 AI 模型调用,让推理服务更稳更可控

Inference Hub for AI at Scale

★ 81 2026-08-09