RedKnot

长文本推理省显存提吞吐，按头复用 KV

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 1521 🐛 待处理 7 👀 关注 103

GitHub ↗

GitHub 星标 ★ 3058

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，免费使用

项目预览

项目数据

分类基础设施

开发团队rednote-machine-learning

GitHubhttps://github.com/rednote-machine-learning/RedKnot

定价模式🏷️完全免费

价格说明开源项目，免费使用

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

GitHub 星标★ 3058

上线时间2026-06-04 00:00:00

代码更新2026-10-28

仓库体积63.1 MB

本站数据更新2026-11-03

维护状态活跃

收录时间2026-09-16

浏览次数1

项目介绍

RedKnot 是一个面向长上下文大语言模型推理的服务框架，核心解决长文本场景下 KV Cache 显存占用大、推理吞吐低的问题。它提出 Head-Aware KV Reuse（按注意力头粒度复用 KV）和 SegPagedAttention（分段分页注意力）两项技术：前者识别不同注意力头对历史信息的依赖差异，只对真正需要的头保留或复用 KV，减少冗余计算与显存；后者把长序列切分成段并分页管理，提升显存利用率和批处理效率。项目用 Python 实现，适合部署在需要处理超长输入（如长文档问答、代码库分析、多轮长对话）的推理服务中，在保持生成质量的同时降低显存开销、提高并发吞吐。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 3058

使用教程

难度：高级约 90 分钟部署方式：本地安装 7 步

环境要求

8×NVIDIA H200（单卡143,771 MiB）或8×B300 节点，TP8 配置
CPython 3.11.13、PyTorch 2.9.1 + CUDA 12.8、Triton 3.5.1
GPU 驱动 570.148.08（H200 认证 Hopper 配置）
可访问 GitHub 的 git（README 使用 SSH 地址）
DeepSeek-V4-Flash 权重，可用本地 checkpoint 或允许自动下载

安装与启动步骤

1克隆仓库

README 提供的是 SSH 地址，需本机已配置 GitHub SSH key；也可改用 HTTPS 地址克隆。
```
git clone git@github.com:rednote-machine-learning/RedKnot.git
```
2进入测试目录

所有复现脚本都位于 test/srt/redknot 下，后续命令均在该目录执行。
```
cd RedKnot/test/srt/redknot
```
3校验固定环境

setup_deepseek_v4_flash_env.sh 用于创建或校验固定版本环境，--check-only 只做检查不安装。
```
./setup_deepseek_v4_flash_env.sh --check-only
```
4加载环境变量

source 该 env 文件后，新 shell 中即可直接使用锁定好的 Python 与依赖环境。
```
source ./environment-deepseek_v4-flash.env
```
5指定模型路径

默认使用本地 DeepSeek-V4-Flash checkpoint；换路径时设置 REDKNOT_MODEL_PATH 或给脚本传 --model-path。
```
export REDKNOT_MODEL_PATH=/your/path/to/DeepSeek-V4-Flash
```
6运行复现脚本

一键创建/校验环境并顺序跑完 64K、128K、256K、440K 四个套件，耗时较长且占用全部八张 GPU。
```
./run_deepseek_v4_flash_reproduction.sh
```
7直接跑基准入口

在已准备好的机器上，也可跳过 wrapper，直接用 Python 入口脚本执行基准测试。
```
python benchmark_RedKnot_DeepSeekV4Flash.py
```

关键配置

配置项	必填	说明	示例
`REDKNOT_MODEL_PATH`	否	指定 DeepSeek-V4-Flash checkpoint 的本地路径	`/your/path/to/DeepSeek-V4-Flash`
`--model-path`	否	命令行方式指定另一个 checkpoint 路径	`--model-path /your/path/to/DeepSeek-V4-Flash`
`--no-download-model`	否	禁用自动下载模型，仅使用本地 checkpoint	`--no-download-model`