RWKV-LM

用 RNN 的速度跑出 GPT 的效果，长上下文不再烧显存

RWKV-LM 是一个将循环神经网络（RNN）与 Transformer 优势结合的下一代语言模型架构，当前版本为 RWKV-7 Goose。它解决了传统 Transformer 在长上下文推理时显存占用高、训练成本大的问题，通过线性注意力机制实现了线性时间复杂度和恒定空间占用（无需 KV 缓存），同时支持无限上下文长度和并行化训练（类似 GPT）。项目提供完整的模型实现、训练脚本和推理工具，支持从零训练或微调，并附带预训练权重。其核心能力包括高效的文本生成、句子嵌入提取，以及作为对话助手的基础模型。RWKV 在保持高性能的同时，大幅降低了资源消耗，适合在消费级硬件上部署，也为研究者提供了探索非 Transformer 架构的实践平台。

开源 free 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 14713

维护状态活跃

是否开源是

定价模式 free

项目数据

分类对话助手

开发团队BlinkDL

所属国家

官网地址

GitHubhttps://github.com/BlinkDL/RWKV-LM

定价模式free

价格说明开源模型，Apache-2.0许可，可免费本地部署使用，无在线服务或付费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型attention-mechanism,chatgpt,deep-learning,gpt,gpt-2,gpt-3,language-model,linear-attention,lstm,pytorch,rnn,rwkv,transformer,transformers

GitHub 星标★ 14713

30天Star增速

HF 下载量

上线时间2021-08-08 00:00:00

最近更新2026-09-21 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

难度：高级约 60 分钟部署方式：本地安装 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

CUDA 11.7.1 或 11.7
torch==1.13.1+cu117
deepspeed==0.7.0
pytorch-lightning==1.9.5

安装与启动步骤

1获取项目源码

README 未给出安装命令，先把仓库克隆到本地，后续在对应子目录中操作。
```
git clone https://github.com/BlinkDL/RWKV-LM.git
```
2按指定版本装依赖

README 强调必须用 deepspeed==0.7.0、pytorch-lightning==1.9.5、torch==1.13.1+cu117 与 CUDA 11.7。
3进入 v4neo 目录

README 指明使用 RWKV-v4neo 目录，这是最新代码且兼容 v4。
```
cd RWKV-LM/RWKV-v4neo
```
4准备测试提示词

README 给出测试 LLM 问答的提示词模板，适用于任何模型，在模型之后生成内容。
```
prompt = f'
Q & A

Question:
{qq}

Detailed Expert Answer:
'
```
5提取文本嵌入

以 14B 为例，state 有 200 个向量（每 block 5 个：xx/aa/bb/pp/xx），不要做平均池化，pp 可去掉；先统计各向量各通道的 mean+stdev 做数据无关归一化，再训练线性分类器。

如何确认成功

README 未给启动命令；可运行 RWKV-v7/rwkv_v7_numpy.py 等脚本，能正常前向计算即说明环境可用。

常见问题

Q：为什么必须锁定这么旧的 torch 和 deepspeed 版本？

A：README 明确说明：torch2 搭配 deepspeed 会出现奇怪 bug 并损害模型性能，因此要求 deepspeed==0.7.0、pytorch-lightning==1.9.5、torch==1.13.1+cu117 及 CUDA 11.7。

Q：如何把 RWKV 的 hidden state 当作文本嵌入使用？

A：不要 avg pool，因为 state 中各向量 (xx aa bb pp xx) 的含义与取值范围差异很大；可先针对各向量各通道收集 mean+stdev 做数据无关归一化（建议取自多种文本），再训练一个线性分类器。

Q：测试 LLM 问答应该用什么提示词？

A：README 给出的通用模板是 prompt = f' Q & A Question: {qq} Detailed Expert Answer: '，对任何模型都有效（由最小化 RWKV 1.5B 的 ChatGPT 困惑度得到）。

Q：应该使用仓库里的哪个版本代码？

A：README 的 Quick start 指向 RWKV-v4neo 目录，说明其为最新代码并兼容 v4。

注意事项

README 未提供完整的 pip 安装命令，需自行按上述版本要求安装依赖。
务必避免 torch 2.x 搭配 deepspeed，会损害模型性能。
环境需 CUDA 11.7.1 或 11.7。
README 建议先阅读 RWKV-v7/rwkv_v7_numpy.py 与 RWKV-v7/run_rwkv7_qwen35.py 等文件。

核心亮点

线性时间与恒定内存，推理时无需 KV 缓存，长上下文处理成本极低
支持并行化训练，训练速度接近 Transformer，但推理更省资源
无限上下文长度，适合超长文档、代码库等场景

不足之处

生态和工具链相比主流 Transformer 模型（如 LLaMA）仍显薄弱
部分高级特性（如指令微调、多模态）支持不如成熟框架完善
文档/社区待观察

适用场景

在消费级 GPU 上部署长上下文对话助手或聊天机器人
处理超长文本（如书籍、代码库）的摘要、问答和生成
需要低延迟、低显存占用的边缘设备或实时推理场景

替代项目

Mamba、RetNet、xLSTM

项目介绍

RWKV-LM 是开源模型领域的开源项目，由 BlinkDL 开发，2021 年首次发布。

在全站 13,109 个收录项目中，它的 GitHub 星标数（14,713）位列前 4%，在开源模型分类的 425 个项目里位列前 4%。

近 41 天，它的 GitHub 星标从 14,660 增加到 14,713，净增 53。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-21。Apache-2.0许可，可免费本地部署使用，无在线服务或付费版本。

它主要面向的使用场景是：在消费级GPU上部署长上下文对话助手或聊天机器人。同类可对比的替代方案包括 Mamba、RetNet、xLSTM。

上一篇：FinGPT

下一篇：Azure-AIGEN-demos