HyperQwen

24G 消费卡跑 27B 大模型，吞吐翻倍

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 301 🐛 待处理 21 👀 关注 18

GitHub ↗

GitHub 星标 ★ 2267

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，需自行部署

项目预览

项目数据

分类基础设施

开发团队syv-ai

GitHubhttps://github.com/syv-ai/HyperQwen

定价模式🏷️完全免费

价格说明开源免费，需自行部署

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型consumer-gpu,cuda,inference-optimization,kv-cache,llm-inference,local-llm,quantization,qwen,qwen3,rtx-3090,speculative-decoding,vllm

GitHub 星标★ 2267

上线时间2026-08-15 00:00:00

代码更新2026-10-21

仓库体积37.1 MB

本站数据更新2026-10-28

维护状态活跃

收录时间2026-10-28

浏览次数0

项目介绍

HyperQwen 是一套面向消费级显卡的大模型推理优化方案，目标是在单张 24 GB 显存显卡上高效运行 Qwen3.8-27B 这类较大参数量的模型。项目基于 vLLM 做深度改造，提供 vLLM 补丁、重新量化流水线以及完整的基准测试脚本，让普通用户用自有硬件即可获得可用的推理吞吐。官方数据显示，单张 24 GB 卡上单用户可达 127 tok/s，当回答引用提示词内容时提升到 381 tok/s，64 并发下约 1,035 tok/s，并支持 150k 至 262k 长上下文。核心技术包括 KV Cache 优化、量化重排、投机解码等推理加速手段，同时兼顾长上下文场景下的显存占用。项目以 Python 实现，围绕 CUDA 与 vLLM 生态展开，适合希望在本地部署 Qwen 系列模型、又不想采购专业级加速卡的开发者与研究者，用于本地推理服务、长文档处理和多用户并发问答等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 2267

技术标签

cuda inference-optimization kv-cache llm-inference local-llm

使用教程

难度：进阶约 15 分钟部署方式：Docker 6 步

环境要求

一张 24 GB 显存的消费级显卡（已在 RTX 3090 / 3080、compute capability 8.6 上实测）
已安装 Docker 与 Docker Compose（含 WSL2 上的 Docker Desktop）
磁盘预留约 30 GB：镜像 9.5 GB，模型重量化约 20 GB 写入 ./models
可用的 .env 配置文件（由 .env.example 复制而来）

安装与启动步骤

1克隆仓库

把 HyperQwen 源码拉到本地并进入项目目录，后续所有命令都在该目录执行。
```
git clone https://github.com/syv-ai/HyperQwen && cd HyperQwen
```
2生成环境配置

复制示例配置为 .env，默认内容对应单人聊天模式 B，一般无需改动。PowerShell 用 Copy-Item。
```
cp .env.example .env
```
3启动单人模式

适合一两个人聊天，单路输出约 127 tok/s、64k 上下文，服务监听 :18020 端口。
```
docker compose --profile single up -d
```
4等待首次初始化

第一次启动会拉取 9.5 GB 镜像并把模型重量化约 20 GB 到 ./models，只做一次，耗时会比较久。
5启动批量模式

API 后端、流水线或 8 个以上并发时用这套，64 并发聚合约 1,035 tok/s，不读取 SPEC 设置。
```
docker compose --profile batch up -d
```
6对外提供服务

默认只绑定 127.0.0.1。要让别的机器访问，先写入 API 密钥再把 BIND 改为 0.0.0.0，然后重启容器。
```
echo "VLLM_API_KEY=$(openssl rand -hex 24)" >> .env && echo BIND=0.0.0.0 >> .env
```

关键配置

配置项	必填	说明	示例
`BIND`	否	服务监听地址，默认 127.0.0.1 仅本机可访问，改为 0.0.0.0 才对外开放	`0.0.0.0`
`VLLM_API_KEY`	否	API 访问密钥，对外暴露前必须设置；不设则仅绑定本机	`VLLM_API_KEY=3f9c1a7e5b2d8c4a6e0f1b3d5c7a9e2f`
`SPEC`	否	投机解码方式，长上下文方案 D 用 mtp，默认方案保持原值	`mtp`
`CTX`	否	上下文档位，long 对应 150k，huge 对应约 240k；默认 64k	`long`
`DFLASH_TOKENS`	否	开启“回答复述提示词”优化方案 C，代价是减少槽位与上下文	`15`
`VLLM_WSL2_ENABLE_PIN_MEMORY`	否	在 WSL2 的 Docker Desktop 上必须保持为 1，否则会报 UVA 不可用	`1`

如何确认成功

容器启动后服务监听 :18020；首次启动需先拉镜像并完成模型重量化，日志无报错即成功。

常见问题

Q：首次启动很久没有反应？

A：属于正常现象：第一次要拉取 9.5 GB 镜像，并把模型重量化约 20 GB 到 ./models，只执行一次，之后启动会快很多。

Q：Docker Desktop on WSL2 报 UVA is not available？

A：在 .env 中保持 VLLM_WSL2_ENABLE_PIN_MEMORY=1，否则 V2 runner 会直接中止。

Q：别的机器访问不到服务？

A：compose 默认只发布到 127.0.0.1，且未设密钥时也只绑定本机。设置 VLLM_API_KEY 并把 BIND 改为 0.0.0.0 后重启。

Q：single 和 batch 能同时跑吗？

A：不能，一张 GPU 同时只能跑一种模式，切换时先停掉当前 profile 再启动另一个。

Q：PTH_FA 与 FA2_FP8KV 是什么？

A：分别是 int8 KV cache 内核和 FA2 fp8 KV 路径的开关。Docker 镜像已内置依赖；不在其测得的配置下运行时设 PTH_FA=0 可恢复默认。

注意事项

项目基于 vLLM 0.31.0 改造，目前只在 compute capability 8.6（RTX 3090 / 3080）的 GPU 上实测过。
不走 compose 或不用 Docker 的安装方式见 docs/docker.md 与 docs/install.md；原生安装还需在虚拟环境中执行 bash pthfa/install.sh 和 bash fa2/install.sh。
批量模式会忽略 SPEC 设置，并在启动时给出提示，这是预期行为。
切换模式（single / batch）前先停掉当前运行的容器，避免显存冲突。