
rwkv.cpp
在 CPU 上跑 RWKV 大模型,量化省内存,推理快人一步
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1591
使用教程
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- C++ 编译环境(项目基于 C++ 与 ggml 实现)
- 建议 x86 CPU 支持 AVX2(README 性能数据基于 4C/8T x86 + AVX2、4 线程)
- Python 环境(项目提供 Python wrapper 调用推理)
- 足够磁盘空间存放 RWKV v4/v5/v6/v7 模型权重
安装与启动步骤
-
1克隆项目源码
从 GitHub 拉取 rwkv.cpp 仓库,后续的 C 库、Python wrapper 与脚本都在该目录内。
git clone https://github.com/RWKV/rwkv.cpp -
2编译出推理库
项目以 C++/ggml 实现并对外提供 C 库 rwkv.h。README 节选未给出构建命令,请以仓库完整说明为准。
-
3下载模型权重
从 HuggingFace 获取 RWKV 权重,README 给出 v4、v5、v6、v7 对应页面,按需选择版本与体积。
-
4按需合并 LoRA
如需加载 LoRA,用仓库内 rwkv/merge_lora_into_ggml.py 合并,仅支持 Blealtan 格式的检查点。
-
5运行模型推理
按 README「How to use → 4. Run the model」执行;也可用 Python wrapper 或 C 库 rwkv.h 加载模型取 logits。
如何确认成功
能通过 Python wrapper 或 C 库成功加载模型并正常输出推理结果,过程中无报错。
常见问题
Q:没有 GPU 可以运行吗?
A:可以。项目专注 CPU 推理,同时提供 cuBLAS 支持,有 GPU 时也能启用加速。
Q:支持哪些 RWKV 模型版本?
A:支持 RWKV v4、v5、v6 以及最新的 v7 架构。
Q:有哪些精度可选?
A:除常规 FP32 外,还支持 FP16 以及量化的 INT4、INT5、INT8 推理。
Q:怎么确定该用哪种量化精度?
A:README 建议用 rwkv/measure_pexplexity.py 在代表性数据集上测试各格式的困惑度与延迟后再决定。
注意事项
- README 中的质量与性能表格仅为参考,作者建议严肃用途自行实测。
- README 节选只包含 How to use 的「4. Run the model」标题,未给出具体命令,构建与运行步骤请以完整仓库文档为准。
- 项目路径含 python/rwkv_cpp/rwkv_cpp_model.py 与 rwkv/ 下的脚本,请在克隆后的仓库根目录内查找。
- LoRA 加载仅支持 Blealtan 格式的检查点。
核心亮点
- 支持 INT4/INT5/INT8/FP16 多种量化精度,灵活平衡内存与效果
- 针对 CPU 深度优化,无需 GPU 即可运行,降低部署门槛
- 兼容多平台(Windows/Linux/macOS),易于集成到现有项目
不足之处
- 仅支持 RWKV 模型,不适用于其他架构
- 文档/社区待观察
适用场景
- 在无 GPU 的服务器或本地 PC 上部署 RWKV 聊天机器人
- 边缘设备(如树莓派)上运行轻量级语言模型
- 对隐私敏感场景,本地化推理避免云端依赖
替代项目
llama.cpp、ggml、llama-cpp-python
上一篇:gpu-hot
同类项目推荐
truss-examples
开源
照着抄,把模型快速变成可调用的 HTTP 服务
Examples of models deployable with Truss
mlops-template
开源
一键生成标准 MLOps 项目骨架,快速落地工程化实践
mlops template
flashinfer
开源
免写 CUDA,给 LLM 推理服务直接加速的算子库
FlashInfer: Kernel Library for LLM Serving
simple-llm
开源
1300行Python手写LLM推理引擎,读懂并魔改每一步
~1300 line, minimal, extensible LLM inference engine built from scratch.
edgejs
开源
在边缘安全跑 JS,轻量沙箱即开即用
Edge.js is a secure JavaScript runtime, designed for Edge computing and AI workloads
ollama-intel-arc
开源
让 Intel Arc 显卡跑起 Ollama 和 Stable Diffusion,一键部署 AI 全栈。
Make use of Intel Arc Series GPU to Run Ollama, StableDiffusion, Whisper and Open We···
openllmetry
开源
用 OpenTelemetry 一键监控你的大模型应用,看清每次调用和成本。
Open-source observability for your GenAI or LLM application, based on OpenTelemetry
oss-llmops-stack
开源
一套组合拳,搞定 LLM 应用的路由、监控与调优
Modular, open source LLMOps stack that separates concerns: LiteLLM unifies LLM APIs,···
new-api-docs-v1
开源
看 New API 文档,快速上手集成,少走弯路。
New API v1 official website documentation