rkllama

在瑞芯微开发板上像 Ollama 一样本地跑大模型

rkllama 是面向瑞芯微（Rockchip）NPU 的开源大模型推理服务，相当于把 Ollama 的体验搬到 RK3588、Orange Pi 5/5 Pro 等国产 ARM 开发板上。它基于瑞芯微官方 rkllm 运行时封装，提供客户端-服务端架构：服务端负责加载 .rkllm 格式模型并调用 NPU 加速，客户端通过命令行或 HTTP API 与模型对话，支持流式输出、模型拉取与切换。项目解决的核心问题是：在算力有限、生态割裂的嵌入式设备上，让开发者不必折腾交叉编译和底层驱动，就能本地离线运行 Llama、Qwen 等量化模型，兼顾隐私与低延迟。核心能力包括 NPU 加速推理、OpenAI 风格接口、多模型管理以及轻量 Python 实现，适合边缘 AI 与离线场景。