rknn-llm

环境要求

• 支持平台：RK3588 / RK3576 / RK3562 / RV1126B 系列开发板
• 开发板运行 Linux aarch64，已具备 adb 连接环境
• 开发板内核需包含 RKNPU 内核驱动（Rockchip 内核代码中已开源）
• PC 端如需转换自有模型，需准备 RKLLM-Toolkit 工具

安装与启动步骤

1. 1下载模型与demo

   从 rkllm_model_zoo 下载预转换模型和 quickstart 目录下的 demo 可执行文件，提取码为 rkllm。

2. 2推送文件到开发板

   用 adb 把 demo 可执行文件和两个模型文件推送到开发板 /data 目录。

   adb push ./demo_Linux_aarch64 /data
   adb push model.rkllm /data/demo_Linux_aarch64
   adb push model.rknn /data/demo_Linux_aarch64

   复制

3. 3登录并配置环境

   adb shell 登录设备，进入 demo 目录并设置动态库路径，否则会找不到依赖库。

   adb shell
   cd /data/demo_Linux_aarch64
   export LD_LIBRARY_PATH=./lib

   复制

4. 4运行多模态demo

   按 Usage 给出的参数顺序传入图片、编码模型、LLM 模型、生成长度、上下文长度、NPU 核数与平台等参数。

   ./demo image_path img_encoder_model_path audio_path aud_encoder_model_path llm_model_path max_new_tokens max_context_len rknn_core_num platform

   复制

5. 5转换自有模型

   若要部署自己的模型，需先在 PC 上用 RKLLM-Toolkit 完成转换与量化，得到 RKLLM 格式模型后再推送。

关键配置

如何确认成功

在开发板执行 ./demo 后能正常加载 RKNN 与 RKLLM 模型，并对输入的图片提问返回文本回答，即部署成功。

常见问题

注意事项

• 预转换模型与 demo 下载地址在 README 的 quickstart 中，提取码为 rkllm。
• 全部推理在本地设备完成，数据不会上传到云端。
• 支持 Qwen、Llama、Phi、ChatGLM、Gemma 等主流模型系列。
• README 仅给出 demo 的参数顺序说明，具体参数取值需按实际文件路径与板卡情况填写。