ChatRWKV

用 RNN 架构跑出 ChatGPT 效果，低显存也能流畅对话

ChatRWKV 是一个基于 RWKV 语言模型的开源对话助手，RWKV 是一种 100% 循环神经网络（RNN）架构，旨在以较低的计算成本实现类似 ChatGPT 的对话能力。它解决了传统 Transformer 模型在推理时显存占用高、速度慢的问题，通过线性复杂度实现高效的长文本处理。核心能力包括：支持中英文多轮对话、文本生成、指令微调、流式输出，并提供多种模型规模（如 1.5B、3B、7B）供选择。项目基于 PyTorch 实现，代码简洁，易于二次开发，同时支持 CPU 和 GPU 推理，适合资源受限的环境部署。作为开源项目，它提供了完整的训练和推理脚本，方便研究者复现和扩展。

开源 free 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 9498

维护状态维护中

是否开源是

定价模式 free

项目数据

分类对话助手

开发团队BlinkDL

所属国家

官网地址

GitHubhttps://github.com/BlinkDL/ChatRWKV

定价模式free

价格说明开源项目，基于RWKV模型，可本地部署，完全免费。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型chatbot,chatgpt,language-model,pytorch,rnn,rwkv

GitHub 星标★ 9498

30天Star增速

HF 下载量

上线时间2023-01-13 00:00:00

最近更新2026-09-21 00:00:00

维护状态维护中

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

难度：进阶约 30 分钟部署方式：本地安装 5 步

环境要求

Linux 环境（README 仅给出 Linux 构建方式）
已安装 CUDA 工具链，默认位于 /usr/local/cuda
Python 运行环境（项目为 Python 实现）
PyTorch 依赖（项目基于 PyTorch）
从 HuggingFace 下载的 RWKV 模型权重

安装与启动步骤

1克隆项目代码

从 GitHub 拉取 ChatRWKV 源码到本地，后续脚本均在仓库的 v2 目录下运行。
```
git clone https://github.com/BlinkDL/ChatRWKV
```
2配置 CUDA 环境变量

按 README 的 Linux 构建说明，把 CUDA 的 bin 与 lib64 加入环境变量，之后运行对话脚本。
```
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
```
3获取模型权重

从 HuggingFace 的 BlinkDL 主页下载所需规模的 RWKV 权重（1.5B/3B/7B 等），放到脚本指定位置。
4转换模型（可选）

README 建议用 v2/convert_model.py 按策略转换模型，可加快加载并节省 CPU 内存。
```
python v2/convert_model.py
```
5启动对话

运行 v2/chat.py 进入命令行对话；设置 RWKV_CUDA_ON 会编译 CUDA kernel，更快更省显存。
```
python v2/chat.py
```

关键配置

配置项	必填	说明	示例
`RWKV_CUDA_ON`	否	启用后编译 CUDA kernel，推理更快且更省显存	`1`
`PATH`	是	加入 CUDA bin 目录，供编译与运行调用	`/usr/local/cuda/bin:$PATH`
`LD_LIBRARY_PATH`	是	加入 CUDA lib64 目录，保证动态库可加载	`/usr/local/cuda/lib64:$LD_LIBRARY_PATH`

如何确认成功

执行 v2/chat.py 后终端进入对话交互并能正常输出回复文本，即视为启动成功。

常见问题

Q：README 没写 pip 安装依赖，怎么装？

A：节选未包含依赖安装说明，可参考 RWKV-LM 主仓库及 v2 目录下脚本，自行确认所需的 PyTorch 等依赖。

Q：RWKV_CUDA_ON 编译 CUDA kernel 失败怎么办？

A：先确认 CUDA 工具链可用，且已按 README 配置好 PATH 与 LD_LIBRARY_PATH；首次编译耗时较长属正常。

Q：模型权重从哪里下载？

A：从 HuggingFace 的 BlinkDL 主页获取原始权重，或使用 RWKV 官方组织提供的 HF 兼容权重。

Q：想在手机端本地推理怎么办？

A：README 指向 RWKV_APP 项目（https://github.com/RWKV-APP/RWKV_APP），支持 Android / iOS 本地推理。

注意事项

README 节选只给出 Linux 构建命令，其他操作系统需自行适配。
仓库本身不含模型权重，需先从 HuggingFace 下载。
最新版本为 RWKV-7，另有 RWKV-LM 主仓库提供训练与微调说明。
启用 RWKV_CUDA_ON 会现场编译 CUDA kernel，首次运行较慢。

核心亮点

RNN 架构推理速度快，显存占用远低于同规模 Transformer，可在低端 GPU 上运行
支持中英文多轮对话和指令微调，开箱即用，提供多种预训练模型权重
代码结构清晰，基于 PyTorch，易于定制和集成到现有应用

不足之处

模型生态和社区规模相比 LLaMA 等主流项目较小，工具链和第三方集成较少
文档和示例相对简略，新手上手需要一定时间摸索

适用场景

在消费级 GPU 或 CPU 上部署本地对话助手，保护隐私
研究 RNN 架构在语言模型中的潜力，对比 Transformer 性能
构建低成本的聊天机器人或客服系统，降低推理成本

替代项目

LLaMA、Alpaca、GPT4All

项目介绍

ChatRWKV 是开源模型领域的开源项目，由 BlinkDL 开发，2023 年首次发布。

在全站 12,961 个收录项目中，它的 GitHub 星标数（9,498）位列前 6%，在开源模型分类的 422 个项目里位列前 8%。

项目仍在小幅维护中，最近一次代码更新于 2026-09-21。基于RWKV模型，可本地部署，完全免费。

它主要面向的使用场景是：在消费级GPU或CPU上部署本地对话助手，保护隐私。同类可对比的替代方案包括 LLaMA、Alpaca、GPT4All。

上一篇：audio-ai-hub

下一篇：Lance