rwkv.cpp

在 CPU 上跑 RWKV 大模型,量化省内存,推理快人一步

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 130 🐛 待处理 36 👀 关注 23
GitHub ↗
GitHub 星标 ★ 1591
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

rwkv.cpp 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队RWKV
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言C++
技术栈/模型deep-learning,ggml,language-model,llm,machine-learning,quantization,rwkv
GitHub 星标★ 1591
上线时间2023-03-30 00:00:00
代码更新2025-03-23
仓库体积43.1 MB
本站数据更新2026-11-19
维护状态低维护
收录时间2026-08-09
浏览次数9

项目介绍

rwkv.cpp 是一个专注于在 CPU 上高效运行 RWKV 语言模型的推理引擎,支持 INT4、INT5、INT8 和 FP16 等多种量化精度。它解决了 RWKV 模型在无 GPU 环境下部署困难的问题,通过量化技术显著降低内存占用和计算开销,使普通 PC 甚至嵌入式设备也能流畅运行大规模语言模型。核心能力包括模型量化、CPU 推理优化、支持多种操作系统和架构,并提供简洁的命令行接口。该项目基于 C++ 实现,借鉴了 llama.cpp 的设计理念,为 RWKV 模型在边缘设备的应用提供了轻量级解决方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1591

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • C++ 编译环境(项目基于 C++ 与 ggml 实现)
  • 建议 x86 CPU 支持 AVX2(README 性能数据基于 4C/8T x86 + AVX2、4 线程)
  • Python 环境(项目提供 Python wrapper 调用推理)
  • 足够磁盘空间存放 RWKV v4/v5/v6/v7 模型权重

安装与启动步骤

  1. 1克隆项目源码

    从 GitHub 拉取 rwkv.cpp 仓库,后续的 C 库、Python wrapper 与脚本都在该目录内。

    git clone https://github.com/RWKV/rwkv.cpp
  2. 2编译出推理库

    项目以 C++/ggml 实现并对外提供 C 库 rwkv.h。README 节选未给出构建命令,请以仓库完整说明为准。

  3. 3下载模型权重

    从 HuggingFace 获取 RWKV 权重,README 给出 v4、v5、v6、v7 对应页面,按需选择版本与体积。

  4. 4按需合并 LoRA

    如需加载 LoRA,用仓库内 rwkv/merge_lora_into_ggml.py 合并,仅支持 Blealtan 格式的检查点。

  5. 5运行模型推理

    按 README「How to use → 4. Run the model」执行;也可用 Python wrapper 或 C 库 rwkv.h 加载模型取 logits。

如何确认成功

能通过 Python wrapper 或 C 库成功加载模型并正常输出推理结果,过程中无报错。

常见问题

Q:没有 GPU 可以运行吗?

A:可以。项目专注 CPU 推理,同时提供 cuBLAS 支持,有 GPU 时也能启用加速。

Q:支持哪些 RWKV 模型版本?

A:支持 RWKV v4、v5、v6 以及最新的 v7 架构。

Q:有哪些精度可选?

A:除常规 FP32 外,还支持 FP16 以及量化的 INT4、INT5、INT8 推理。

Q:怎么确定该用哪种量化精度?

A:README 建议用 rwkv/measure_pexplexity.py 在代表性数据集上测试各格式的困惑度与延迟后再决定。

注意事项

  • README 中的质量与性能表格仅为参考,作者建议严肃用途自行实测。
  • README 节选只包含 How to use 的「4. Run the model」标题,未给出具体命令,构建与运行步骤请以完整仓库文档为准。
  • 项目路径含 python/rwkv_cpp/rwkv_cpp_model.py 与 rwkv/ 下的脚本,请在克隆后的仓库根目录内查找。
  • LoRA 加载仅支持 Blealtan 格式的检查点。

核心亮点

  • 支持 INT4/INT5/INT8/FP16 多种量化精度,灵活平衡内存与效果
  • 针对 CPU 深度优化,无需 GPU 即可运行,降低部署门槛
  • 兼容多平台(Windows/Linux/macOS),易于集成到现有项目

不足之处

  • 仅支持 RWKV 模型,不适用于其他架构
  • 文档/社区待观察

适用场景

  • 在无 GPU 的服务器或本地 PC 上部署 RWKV 聊天机器人
  • 边缘设备(如树莓派)上运行轻量级语言模型
  • 对隐私敏感场景,本地化推理避免云端依赖

替代项目

llama.cpp、ggml、llama-cpp-python

上一篇:gpu-hot

下一篇:nvidia_gpu_exporter

同类项目推荐

truss-examples 开源

照着抄,把模型快速变成可调用的 HTTP 服务

Examples of models deployable with Truss

★ 234 2026-08-09
mlops-template 开源

一键生成标准 MLOps 项目骨架,快速落地工程化实践

mlops template

★ 361 2026-08-09
flashinfer 开源

免写 CUDA,给 LLM 推理服务直接加速的算子库

FlashInfer: Kernel Library for LLM Serving

★ 6958 2026-09-16
simple-llm 开源

1300行Python手写LLM推理引擎,读懂并魔改每一步

~1300 line, minimal, extensible LLM inference engine built from scratch.

★ 493 2026-10-15
edgejs 开源

在边缘安全跑 JS,轻量沙箱即开即用

Edge.js is a secure JavaScript runtime, designed for Edge computing and AI workloads

★ 851 2026-10-08
ollama-intel-arc 开源

让 Intel Arc 显卡跑起 Ollama 和 Stable Diffusion,一键部署 AI 全栈。

Make use of Intel Arc Series GPU to Run Ollama, StableDiffusion, Whisper and Open We···

★ 430 2026-08-09
openllmetry 开源

用 OpenTelemetry 一键监控你的大模型应用,看清每次调用和成本。

Open-source observability for your GenAI or LLM application, based on OpenTelemetry

★ 7543 2026-08-09
oss-llmops-stack 开源

一套组合拳,搞定 LLM 应用的路由、监控与调优

Modular, open source LLMOps stack that separates concerns: LiteLLM unifies LLM APIs,···

★ 155 2026-08-09
new-api-docs-v1 开源

看 New API 文档,快速上手集成,少走弯路。

New API v1 official website documentation

★ 114 2026-08-09