rtx6kpro

无 NVLink 的 PCIe 多卡也能跑千亿级大模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 97 🐛 待处理 79 👀 关注 37
GitHub ↗
GitHub 星标 ★ 1218
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无商业定价

项目预览

rtx6kpro 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队local-inference-lab
定价模式🏷️完全免费
价格说明开源免费,无商业定价
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
GitHub 星标★ 1218
上线时间2026-03-09 00:00:00
代码更新2026-11-21
仓库体积182.8 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-11-22
浏览次数0

项目介绍

rtx6kpro 是一份面向 RTX 6000 Pro(Blackwell 架构专业卡)的实践型 Wiki,聚焦在没有 NVLink 的 PCIe 多卡环境下运行超大规模语言模型。它把 Qwen3.5-397B、Kimi-K2.5、GLM-5 这类数百亿到数千亿参数模型的部署经验整理成可复现的文档与脚本,涵盖多卡张量并行与流水线并行配置、显存与 KV Cache 估算、量化方案选择、PCIe 带宽瓶颈下的通信调优,以及推理框架(如 vLLM、SGLang)的启动参数模板。项目以 Python 代码辅助生成配置和基准测试,帮助个人研究者与小团队在相对低成本的 PCIe 工作站上跑通大模型推理,而不必依赖昂贵的 NVLink 服务器。核心价值在于把硬件选型、并行策略、显存规划与实测性能数据集中呈现,降低大模型本地部署的试错成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 1218

使用教程

难度:高级 约 30 分钟 部署方式:Docker 6 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • NVIDIA RTX PRO 6000 Blackwell(SM120)PCIe 显卡,多卡环境无 NVLink
  • 已安装 Docker,用于运行 README 中的统一镜像
  • Python 环境,用于运行仓库内生成配置与基准测试的脚本
  • 按模型规模准备足够显存与本地模型权重(部分预设面向 2×96GB 显卡)

安装与启动步骤

  1. 1克隆仓库

    取得 Wiki 文档、Docker 构建文件与脚本;README 未给出其他安装命令。

    git clone https://github.com/local-inference-lab/rtx6kpro.git
  2. 2阅读统一启动指南

    先看共享 Docker 启动指南,它给出模型配置档案、推测解码、GPU 选择与可选 LMCache 的统一入口。

  3. 3选定模型页面

    按要运行的模型族进入对应页面,页面内含完整启动命令、精确选项示例与实测速度记录。

  4. 4准备 GPU 与镜像

    确认显卡型号与卡数符合所选预设,再按指南构建或拉取统一镜像;仓库未提供具体构建命令。

  5. 5执行页面启动命令

    直接使用模型页给出的启动命令与选项,不要自行改动参数,以免与记录的基准结果不符。

  6. 6复现历史版本

    要重现旧版本结果时,改用 recipe archive 中的服务配方,保持推荐模型地址不变。

关键配置

配置项必填说明示例
TP(张量并行度)否控制模型切分到几张卡,如统一配置采用 TP4。4
量化格式否目标权重精度,页面示例含 NVFP4 与在线 FP8/MXFP8。NVFP4
推测解码模式否可选 no-spec、MTP3 或 MXFP8 DFlash2 等方案。MTP3
GPU 选择否指定参与运行的显卡,统一镜像中可配置。0,1,2,3
LMCache否统一镜像中的可选缓存组件,用于前缀复用。启用

如何确认成功

按模型页命令启动后,对照该页记录的速度表与质量报告,确认服务正常响应、显存占用符合预期。

常见问题

Q:应该从哪个文档开始?

A:从 docs/unified-vllm-docker.md 开始,它覆盖 GLM-5.3、Qwen3.8-Flash-Next、DeepSeek V4 等模型的统一启动方式。

Q:只有两张 96GB 显卡能跑吗?

A:可以看 GLM-5.3-Flash Spark 的双卡配方,该预设针对两张 96GB 显卡做了显存调优,并含 MTP3 与可选内存/磁盘前缀存储。

Q:如何复现上一版本的结果?

A:使用 archive/serving-guides/README.md 中的配方归档,可在不改动推荐模型地址的情况下复现前一版本。

Q:推测解码该选哪种?

A:各模型页列出了 no-spec、MTP3、MXFP8 DFlash2 等选项及对应测量数据,按页面记录对比选择。

注意事项

  • README 未提供 pip 安装或镜像构建命令,实际命令以各模型页与统一 Docker 指南为准。
  • 文档涉及 PCIe 拓扑、通信调优与 KLD 质量检查,建议先读完对应模型页再调整参数。
  • 复现历史结果时应保持推荐模型地址不变,避免与记录的基准数据不可比。

核心亮点

  • 针对无 NVLink 的 PCIe 多卡场景给出具体并行策略与通信调优参数,而非泛泛而谈
  • 覆盖 Qwen3.5-397B、Kimi-K2.5、GLM-5 等多个超大模型的实际部署配置与显存估算
  • 附带 Python 脚本用于生成配置和基准测试,文档可直接复现而非纯理论

不足之处

  • 高度绑定 RTX 6000 Pro 与特定推理框架版本,换硬件或其他显卡需自行调整
  • 超大模型实测数据依赖具体驱动与框架版本,更新滞后时结论可能失真

适用场景

  • 个人或小团队用多张 RTX 6000 Pro 搭建本地大模型推理工作站
  • 评估 PCIe 多卡方案能否承载数百亿参数模型的显存与带宽规划
  • 为 vLLM、SGLang 等框架配置张量并行与量化参数时参考实测模板

替代项目

vllm、sglang、llama.cpp

同类项目推荐

backlot 开源

本地跑通企业SaaS API,带真实分页鉴权和ACL

A local emulator for enterprise SaaS APIs — Slack, Gmail, Google Drive, GitHub, Jir···

★ 227 2026-09-12
open-connector 开源

一键连接千款 SaaS,让 AI 智能体轻松调用外部工具

Open-source auth gateway connecting 1700+ SaaS providers to AI agents through SDK, C···

★ 6279 2026-08-09
vllm 开源

同一个模型跑出几倍速度,机器成本省一半

A high-throughput and memory-efficient inference and serving engine for LLMs

★ 97296 2026-08-09
OpenMLDB 开源

用SQL统一训练与推理特征,告别线上线下不一致

OpenMLDB is an open-source machine learning database that provides a feature platfor···

★ 1717 2026-08-09
agentplay 开源

把编码代理的会话回放成地图和时间线

Replay your coding agent sessions as a map and a timeline

★ 372 2026-10-24
corpusos 开源

一套协议打通所有 AI 框架,告别碎片化集成

Open-source protocol suite standardizing LLM, Vector, Graph, and Embedding infrastru···

★ 207 2026-08-09
mlops-templates 开源

把机器学习模型快速、标准化地部署到 Azure 生产环境

Azure MLOps (v2) solution accelerators. Enterprise ready templates to deploy your ma···

★ 143 2026-08-09
serverless-comfyui 开源

把 ComfyUI 变成弹性 API,按需调用省 GPU 成本

一个基于 Docker 的 ComfyUI 弹性 Serverless 应用,提供完整的前后端分离架构和用户友好的···

★ 102 2026-08-09