
rtx6kpro
无 NVLink 的 PCIe 多卡也能跑千亿级大模型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 1218
使用教程
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- NVIDIA RTX PRO 6000 Blackwell(SM120)PCIe 显卡,多卡环境无 NVLink
- 已安装 Docker,用于运行 README 中的统一镜像
- Python 环境,用于运行仓库内生成配置与基准测试的脚本
- 按模型规模准备足够显存与本地模型权重(部分预设面向 2×96GB 显卡)
安装与启动步骤
-
1克隆仓库
取得 Wiki 文档、Docker 构建文件与脚本;README 未给出其他安装命令。
git clone https://github.com/local-inference-lab/rtx6kpro.git -
2阅读统一启动指南
先看共享 Docker 启动指南,它给出模型配置档案、推测解码、GPU 选择与可选 LMCache 的统一入口。
-
3选定模型页面
按要运行的模型族进入对应页面,页面内含完整启动命令、精确选项示例与实测速度记录。
-
4准备 GPU 与镜像
确认显卡型号与卡数符合所选预设,再按指南构建或拉取统一镜像;仓库未提供具体构建命令。
-
5执行页面启动命令
直接使用模型页给出的启动命令与选项,不要自行改动参数,以免与记录的基准结果不符。
-
6复现历史版本
要重现旧版本结果时,改用 recipe archive 中的服务配方,保持推荐模型地址不变。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
TP(张量并行度) | 否 | 控制模型切分到几张卡,如统一配置采用 TP4。 | 4 |
量化格式 | 否 | 目标权重精度,页面示例含 NVFP4 与在线 FP8/MXFP8。 | NVFP4 |
推测解码模式 | 否 | 可选 no-spec、MTP3 或 MXFP8 DFlash2 等方案。 | MTP3 |
GPU 选择 | 否 | 指定参与运行的显卡,统一镜像中可配置。 | 0,1,2,3 |
LMCache | 否 | 统一镜像中的可选缓存组件,用于前缀复用。 | 启用 |
如何确认成功
按模型页命令启动后,对照该页记录的速度表与质量报告,确认服务正常响应、显存占用符合预期。
常见问题
Q:应该从哪个文档开始?
A:从 docs/unified-vllm-docker.md 开始,它覆盖 GLM-5.3、Qwen3.8-Flash-Next、DeepSeek V4 等模型的统一启动方式。
Q:只有两张 96GB 显卡能跑吗?
A:可以看 GLM-5.3-Flash Spark 的双卡配方,该预设针对两张 96GB 显卡做了显存调优,并含 MTP3 与可选内存/磁盘前缀存储。
Q:如何复现上一版本的结果?
A:使用 archive/serving-guides/README.md 中的配方归档,可在不改动推荐模型地址的情况下复现前一版本。
Q:推测解码该选哪种?
A:各模型页列出了 no-spec、MTP3、MXFP8 DFlash2 等选项及对应测量数据,按页面记录对比选择。
注意事项
- README 未提供 pip 安装或镜像构建命令,实际命令以各模型页与统一 Docker 指南为准。
- 文档涉及 PCIe 拓扑、通信调优与 KLD 质量检查,建议先读完对应模型页再调整参数。
- 复现历史结果时应保持推荐模型地址不变,避免与记录的基准数据不可比。
核心亮点
- 针对无 NVLink 的 PCIe 多卡场景给出具体并行策略与通信调优参数,而非泛泛而谈
- 覆盖 Qwen3.5-397B、Kimi-K2.5、GLM-5 等多个超大模型的实际部署配置与显存估算
- 附带 Python 脚本用于生成配置和基准测试,文档可直接复现而非纯理论
不足之处
- 高度绑定 RTX 6000 Pro 与特定推理框架版本,换硬件或其他显卡需自行调整
- 超大模型实测数据依赖具体驱动与框架版本,更新滞后时结论可能失真
适用场景
- 个人或小团队用多张 RTX 6000 Pro 搭建本地大模型推理工作站
- 评估 PCIe 多卡方案能否承载数百亿参数模型的显存与带宽规划
- 为 vLLM、SGLang 等框架配置张量并行与量化参数时参考实测模板
替代项目
vllm、sglang、llama.cpp
同类项目推荐
backlot
开源
本地跑通企业SaaS API,带真实分页鉴权和ACL
A local emulator for enterprise SaaS APIs — Slack, Gmail, Google Drive, GitHub, Jir···
open-connector
开源
一键连接千款 SaaS,让 AI 智能体轻松调用外部工具
Open-source auth gateway connecting 1700+ SaaS providers to AI agents through SDK, C···
vllm
开源
同一个模型跑出几倍速度,机器成本省一半
A high-throughput and memory-efficient inference and serving engine for LLMs
OpenMLDB
开源
用SQL统一训练与推理特征,告别线上线下不一致
OpenMLDB is an open-source machine learning database that provides a feature platfor···
unstructured-inference
开源
把杂乱文档解析成带类型的结构化文本块
agentplay
开源
把编码代理的会话回放成地图和时间线
Replay your coding agent sessions as a map and a timeline
corpusos
开源
一套协议打通所有 AI 框架,告别碎片化集成
Open-source protocol suite standardizing LLM, Vector, Graph, and Embedding infrastru···
mlops-templates
开源
把机器学习模型快速、标准化地部署到 Azure 生产环境
Azure MLOps (v2) solution accelerators. Enterprise ready templates to deploy your ma···
serverless-comfyui
开源
把 ComfyUI 变成弹性 API,按需调用省 GPU 成本
一个基于 Docker 的 ComfyUI 弹性 Serverless 应用,提供完整的前后端分离架构和用户友好的···