rwkv.cpp

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• C++ 编译环境（项目基于 C++ 与 ggml 实现）
• 建议 x86 CPU 支持 AVX2（README 性能数据基于 4C/8T x86 + AVX2、4 线程）
• Python 环境（项目提供 Python wrapper 调用推理）
• 足够磁盘空间存放 RWKV v4/v5/v6/v7 模型权重

安装与启动步骤

1. 1克隆项目源码

   从 GitHub 拉取 rwkv.cpp 仓库，后续的 C 库、Python wrapper 与脚本都在该目录内。

   git clone https://github.com/RWKV/rwkv.cpp

   复制

2. 2编译出推理库

   项目以 C++/ggml 实现并对外提供 C 库 rwkv.h。README 节选未给出构建命令，请以仓库完整说明为准。

3. 3下载模型权重

   从 HuggingFace 获取 RWKV 权重，README 给出 v4、v5、v6、v7 对应页面，按需选择版本与体积。

4. 4按需合并 LoRA

   如需加载 LoRA，用仓库内 rwkv/merge_lora_into_ggml.py 合并，仅支持 Blealtan 格式的检查点。

5. 5运行模型推理

   按 README「How to use → 4. Run the model」执行；也可用 Python wrapper 或 C 库 rwkv.h 加载模型取 logits。

如何确认成功

能通过 Python wrapper 或 C 库成功加载模型并正常输出推理结果，过程中无报错。

常见问题

注意事项

• README 中的质量与性能表格仅为参考，作者建议严肃用途自行实测。
• README 节选只包含 How to use 的「4. Run the model」标题，未给出具体命令，构建与运行步骤请以完整仓库文档为准。
• 项目路径含 python/rwkv_cpp/rwkv_cpp_model.py 与 rwkv/ 下的脚本，请在克隆后的仓库根目录内查找。
• LoRA 加载仅支持 Blealtan 格式的检查点。