ChatRWKV

环境要求

• Linux 环境（README 仅给出 Linux 构建方式）
• 已安装 CUDA 工具链，默认位于 /usr/local/cuda
• Python 运行环境（项目为 Python 实现）
• PyTorch 依赖（项目基于 PyTorch）
• 从 HuggingFace 下载的 RWKV 模型权重

安装与启动步骤

1. 1克隆项目代码

   从 GitHub 拉取 ChatRWKV 源码到本地，后续脚本均在仓库的 v2 目录下运行。

   git clone https://github.com/BlinkDL/ChatRWKV

   复制

2. 2配置 CUDA 环境变量

   按 README 的 Linux 构建说明，把 CUDA 的 bin 与 lib64 加入环境变量，之后运行对话脚本。

   export PATH=/usr/local/cuda/bin:$PATH
   export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

   复制

3. 3获取模型权重

   从 HuggingFace 的 BlinkDL 主页下载所需规模的 RWKV 权重（1.5B/3B/7B 等），放到脚本指定位置。

4. 4转换模型（可选）

   README 建议用 v2/convert_model.py 按策略转换模型，可加快加载并节省 CPU 内存。

   python v2/convert_model.py

   复制

5. 5启动对话

   运行 v2/chat.py 进入命令行对话；设置 RWKV_CUDA_ON 会编译 CUDA kernel，更快更省显存。

   python v2/chat.py

   复制

关键配置

如何确认成功

执行 v2/chat.py 后终端进入对话交互并能正常输出回复文本，即视为启动成功。

常见问题

注意事项

• README 节选只给出 Linux 构建命令，其他操作系统需自行适配。
• 仓库本身不含模型权重，需先从 HuggingFace 下载。
• 最新版本为 RWKV-7，另有 RWKV-LM 主仓库提供训练与微调说明。
• 启用 RWKV_CUDA_ON 会现场编译 CUDA kernel，首次运行较慢。