RWKV-LM

Q: 测试 LLM 问答应该用什么提示词？

README 给出的通用模板是 prompt = f'/nQ & A/n/nQuestion:/n{qq}/n/nDetailed Expert Answer:/n'，对任何模型都有效（由最小化 RWKV 1.5B 的 ChatGPT 困惑度得到）。

用 RNN 的速度跑出 GPT 的效果，长上下文不再烧显存

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署对话助手 🍴 复刻 1026 🐛 待处理 160 👀 关注 136

GitHub ↗

GitHub 星标 ★ 14771

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源模型，Apache-2.0许可，可免费本地部署使用，无在线服务或付费版本。

项目预览

项目数据

分类对话助手

开发团队BlinkDL

GitHubhttps://github.com/BlinkDL/RWKV-LM

定价模式🏷️完全免费

价格说明开源模型，Apache-2.0许可，可免费本地部署使用，无在线服务或付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型attention-mechanism,chatgpt,deep-learning,gpt,gpt-2,gpt-3,language-model,linear-attention,lstm,pytorch,rnn,rwkv,transformer,transformers

GitHub 星标★ 14771

上线时间2021-08-08 00:00:00

代码更新2026-11-04

仓库体积30.4 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数3

项目介绍

RWKV-LM 是一个将循环神经网络（RNN）与 Transformer 优势结合的下一代语言模型架构，当前版本为 RWKV-7 Goose。它解决了传统 Transformer 在长上下文推理时显存占用高、训练成本大的问题，通过线性注意力机制实现了线性时间复杂度和恒定空间占用（无需 KV 缓存），同时支持无限上下文长度和并行化训练（类似 GPT）。项目提供完整的模型实现、训练脚本和推理工具，支持从零训练或微调，并附带预训练权重。其核心能力包括高效的文本生成、句子嵌入提取，以及作为对话助手的基础模型。RWKV 在保持高性能的同时，大幅降低了资源消耗，适合在消费级硬件上部署，也为研究者提供了探索非 Transformer 架构的实践平台。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 14771

技术标签

attention-mechanism chatgpt deep-learning gpt gpt-2

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：高级约 60 分钟部署方式：本地安装 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

CUDA 11.7.1 或 11.7
torch==1.13.1+cu117
deepspeed==0.7.0
pytorch-lightning==1.9.5

安装与启动步骤

1获取项目源码

README 未给出安装命令，先把仓库克隆到本地，后续在对应子目录中操作。
```
git clone https://github.com/BlinkDL/RWKV-LM.git
```
2按指定版本装依赖

README 强调必须用 deepspeed==0.7.0、pytorch-lightning==1.9.5、torch==1.13.1+cu117 与 CUDA 11.7。
3进入 v4neo 目录

README 指明使用 RWKV-v4neo 目录，这是最新代码且兼容 v4。
```
cd RWKV-LM/RWKV-v4neo
```
4准备测试提示词

README 给出测试 LLM 问答的提示词模板，适用于任何模型，在模型之后生成内容。
```
prompt = f'\nQ & A\n\nQuestion:\n{qq}\n\nDetailed Expert Answer:\n'
```
5提取文本嵌入

以 14B 为例，state 有 200 个向量（每 block 5 个：xx/aa/bb/pp/xx），不要做平均池化，pp 可去掉；先统计各向量各通道的 mean+stdev 做数据无关归一化，再训练线性分类器。