ncnn_llm

让大模型在手机端离线跑起来，不依赖 GPU 和 Python。

ncnn_llm 是一个把大语言模型推理搬到 ncnn 框架上的开源项目，用 C++ 实现，目标是在手机、嵌入式设备等没有 CUDA 或独立显卡的平台上跑 LLM。它解决的是端侧部署难的问题：主流推理框架往往依赖 Python、PyTorch 或 GPU，难以直接塞进移动 App。项目基于腾讯的 ncnn 高性能神经网络推理库，复用其 Vulkan/CPU 后端和量化能力，把 LLM 的权重加载、KV Cache、采样等流程用 C++ 重写，让开发者可以在 Android、iOS 或 Linux 上以较小依赖运行对话模型。核心能力包括模型权重转换与加载、推理调度、以及面向端侧的内存与速度优化，适合需要离线、低延迟、隐私敏感场景的开发者参考或二次开发。