
rknn-llm
把大模型塞进瑞芯微开发板,NPU 加速离线跑
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 1776
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 支持平台:RK3588 / RK3576 / RK3562 / RV1126B 系列开发板
- 开发板运行 Linux aarch64,已具备 adb 连接环境
- 开发板内核需包含 RKNPU 内核驱动(Rockchip 内核代码中已开源)
- PC 端如需转换自有模型,需准备 RKLLM-Toolkit 工具
安装与启动步骤
-
1下载模型与demo
从 rkllm_model_zoo 下载预转换模型和 quickstart 目录下的 demo 可执行文件,提取码为 rkllm。
-
2推送文件到开发板
用 adb 把 demo 可执行文件和两个模型文件推送到开发板 /data 目录。
adb push ./demo_Linux_aarch64 /data adb push model.rkllm /data/demo_Linux_aarch64 adb push model.rknn /data/demo_Linux_aarch64 -
3登录并配置环境
adb shell 登录设备,进入 demo 目录并设置动态库路径,否则会找不到依赖库。
adb shell cd /data/demo_Linux_aarch64 export LD_LIBRARY_PATH=./lib -
4运行多模态demo
按 Usage 给出的参数顺序传入图片、编码模型、LLM 模型、生成长度、上下文长度、NPU 核数与平台等参数。
./demo image_path img_encoder_model_path audio_path aud_encoder_model_path llm_model_path max_new_tokens max_context_len rknn_core_num platform -
5转换自有模型
若要部署自己的模型,需先在 PC 上用 RKLLM-Toolkit 完成转换与量化,得到 RKLLM 格式模型后再推送。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
LD_LIBRARY_PATH | 是 | 指定 demo 运行时的动态库搜索路径,指向自带 lib 目录 | ./lib |
rknn_core_num | 是 | demo 运行参数,指定使用的 NPU 核心数量 | 3 |
max_new_tokens | 是 | demo 运行参数,控制单次生成的最大 token 数 | 512 |
max_context_len | 是 | demo 运行参数,设置模型上下文长度上限 | 4096 |
如何确认成功
在开发板执行 ./demo 后能正常加载 RKNN 与 RKLLM 模型,并对输入的图片提问返回文本回答,即部署成功。
常见问题
Q:没有 Rockchip 开发板能运行吗?
A:不能。该工具包面向 RK3588/RK3576/RK3562/RV1126B 等带 NPU 的平台,推理依赖 RKNPU 内核驱动与开发板环境。
Q:可以用自己的模型吗?
A:可以。需要先在 PC 上用 RKLLM-Toolkit 把训练好的模型转换并量化为 RKLLM 格式,再放到开发板上推理。
Q:模型文件从哪里获取?
A:README 的 Quickstart 提供了 rkllm_model_zoo 下载地址,提取码为 rkllm,其中的模型均为预转换好的。
Q:运行时报找不到动态库怎么办?
A:需要先 cd 到 demo 目录并执行 export LD_LIBRARY_PATH=./lib,让程序能找到随包附带的库文件。
注意事项
- 预转换模型与 demo 下载地址在 README 的 quickstart 中,提取码为 rkllm。
- 全部推理在本地设备完成,数据不会上传到云端。
- 支持 Qwen、Llama、Phi、ChatGLM、Gemma 等主流模型系列。
- README 仅给出 demo 的参数顺序说明,具体参数取值需按实际文件路径与板卡情况填写。
核心亮点
- 官方维护,与 RKNN 工具链和 NPU 驱动深度适配,转换和推理流程完整
- 支持 Qwen、Llama、ChatGLM 等主流模型,提供量化与多模态示例
- 包含 C++/Python 接口和性能测试脚本,方便集成到嵌入式产品
不足之处
- 强绑定瑞芯微 NPU 硬件,非 RK 芯片无法使用
- 模型转换步骤较多,对不熟悉 RKNN 工具链的开发者有上手门槛
适用场景
- 在 RK3588 开发板上部署离线语音助手
- 智能座舱/机器人本地大模型对话
- 边缘设备上的视觉语言多模态推理
替代项目
llama.cpp、MLC-LLM
同类项目推荐
spark-ds41f
开源
多台 DGX Spark 一键跑通 DeepSeek 分布式推理与压测
Reproducible Docker/vLLM deployment, tuning, and benchmarks for DeepSeek V4.1 Flash ···
recodex
开源
自建 Codex 中转站,轻松管理 AI 请求
Codex中转,可自部署的代理服务
digiRunner-Open-Source
开源
快速搭建微服务API网关,统一入口、安全可控。
digiRunner: Your API Gateway for Microservices
onWatch
开源
一个后台小进程,实时盯住所有 AI 额度不爆表
Track AI API quotas across Synthetic, Z.ai, Anthropic (Claude Code), Codex, GitHub C···
datalinkx
开源
配置化搞定异构数据源同步,支持增量与全量,内置大模型算子。
DatalinkX异构数据源之间的数据同步系统,支持海量数据的增量或全量同步,同时支持HTTP、O···
Routerly
开源
换一个 URL,自动选最划算的 AI 模型
Self-hosted LLM gateway that routes requests across AI providers (OpenAI, Anthropic,···
kitops
开源
把 AI 模型打包成标准镜像,像管容器一样管 AI 资产
An open source DevOps tool from the CNCF for packaging and versioning AI/ML models, ···
BentoML
开源
模型打包一键变线上服务,上线运维全不操心
The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues···
dstoolkit-mlops-databricks
开源
统一 Databricks 与 Azure ML,一键搭建 MLOps 流水线
ML Ops Accelerator: Databricks & Azure Machine Learning Unification