rkllama
在瑞芯微开发板上像 Ollama 一样本地跑大模型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 618
技术标签
使用教程
环境要求
- RK3588 或 RK3576 开发板
- 转好的专用模型
- Linux 环境
安装与启动步骤
-
1先确认硬件
只在瑞芯微那两代带 NPU 的板子上有意义，别的平台装了也跑不动。
-
2装本体
Python 包方式最省事，也可以直接用镜像跑。
python -m pip install . -
3备模型文件
它跑的是转好的专用格式，普通权重不能直接用。
-
4起服务
对外接口与常见推理服务长得差不多，客户端改地址即可。
-
5量一遍吞吐
NPU 的优势在能效不在绝对速度，先测并发下的实际表现。
如何确认成功
板上起服务后能用标准客户端对话，且推理确实跑在 NPU 上而不是回落到 CPU
注意事项
- 只支持瑞芯微这两代带 NPU 的芯片，x86 机器上没有使用价值。
- 权重必须转换成专用格式，这一步是整个流程里最容易卡住的。
- 它相对通用推理服务的差别就是把模型放进 NPU，功耗低很多。
- 板子内存有限，参数量大的模型要选量化版本。
核心亮点
- 直接调用 Rockchip NPU（rkllm），比纯 CPU 推理显著提速，适合 RK3588 等边缘设备
- 提供类 Ollama 的客户端-服务端与 HTTP API，接入现有应用成本低
- 纯 Python 实现，代码轻量易读，方便二次开发和集成到自有系统
不足之处
- 强依赖瑞芯微 NPU 与 rkllm 运行时，非 Rockchip 设备无法使用，硬件门槛高
- 模型需转换为 .rkllm 格式，生态与模型数量远少于通用推理框架
适用场景
- Orange Pi 5 等开发板上搭建离线私有聊天助手
- 边缘设备上做本地文本摘要、翻译等低延迟推理
- 教学或创客项目中演示 NPU 加速大模型推理
替代项目
ollama、llama.cpp、rknn-llm
上一篇：NadirClaw
下一篇：BigMoeOnEdge
同类项目推荐
axonhub
开源
一个网关，用任意 SDK 稳定调用 100+ 大模型，自动容灾省钱
⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, loa···
nano-vllm
开源
轻量跑大模型，看懂推理全流程
Nano vLLM
harnessrouter
开源
一个 API 统一管理所有 AI 代理，自托管保安全。
HarnessRouter Community Edition: the self-hosted, Apache-2.0 edition of the unified ···
ComfyUI-Nvidia-Docker
开源
一条命令拉起带 GPU 的 ComfyUI，权限不打架
ComfyUI for NVIDIA GPU in a Docker container with user configurable uid/gid
code-on-incus
开源
给每个 AI 代理一个独立沙箱，自动防威胁
Give the agent a machine. Just not yours. Each AI coding agent gets its own isolated···
cerul
开源
让 AI 记住视频内容，秒级检索关键画面
Open-source video processing core and CLI. Search and annotate local videos with you···
deepmem
开源
5分钟换掉Mem0，检索快2倍成本省10倍
Drop-in AI memory layer with 2x faster retrieval and 10x lower cost. Fully compatibl···
agent-vault
开源
给 AI 代理一个安全的凭证保险库，告别硬编码密钥
A HTTP credential proxy and vault for AI agents like Claude Code, OpenClaw, Hermes, ···
Crane
开源
纯 Rust 多模态推理引擎，一个栈跑通文本、视觉、语音与 OCR。
A Pure Rust based LLM, VLM, VLA, TTS, OCR Inference Engine, powering by Candle & Rus···