vLLM-2080Ti-Definitive
双2080Ti+NVLink跑Qwen 27B，单请求破100 tok/s
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 1200
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- SM75（Turing）架构显卡：双 RTX 2080 Ti 22GB，或其他 SM75 卡如 Tesla T10/T40/T4、TITAN RTX、Quadr
- 双卡需通过 NVLink 连接，用于张量并行，合计约 44GB 显存
- Python 环境（项目开发语言为 Python，README 节选未给出具体版本要求）
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取本仓库源码到本地，后续编译与启动均在此目录进行
git clone https://github.com/weicj/vLLM-2080Ti-Definitive.git -
2切到 0.2.x 分支
README 指明当前基线所在分支为 vllm-2080ti-definitive-0.2.x，务必切到该分支再操作
cd vLLM-2080Ti-Definitive && git checkout vllm-2080ti-definitive-0.2.x -
3阅读发布与变更说明
README 节选未包含安装命令，请打开 Release v0.2.2-post2 页面和仓库 CHANGELOG.md，按其中说明执行安装与编译
-
4核对硬件并求助社区
确认是双 2080 Ti 22GB 且 NVLink 已连通；遇到编译或运行问题到官方 Discord 提问
如何确认成功
README 节选未给出启动成功判据，请以 v0.2.2-post2 Release 说明和 CHANGELOG.md 中的验证证据为准。
常见问题
Q：哪些显卡可以使用这个版本？
A：面向 SM75（Turing）显卡：双 RTX 2080 Ti 22GB，以及 Tesla T10/T40/T4、TITAN RTX、Quadro RTX 6000/8000。
Q：为什么 2080 Ti 需要专门的 vLLM 分支？
A：Turing 不支持原生 FP8 和 BF16 加速，官方 vLLM 默认不覆盖这类卡，本分支保留了 SM75 专属源码改动与启动配置以恢复可用性。
Q：双卡 44GB 显存能跑多大的模型？
A：README 称借助 NVLink 张量并行与显存/KV Cache 调优，足以支撑 27B、35B 级别的本地模型服务，而非只能跑小模型。
Q：从哪里获取安装和使用帮助？
A：可加入官方 Discord 社区（https://discord.gg/VFqVVySdMS）反馈使用问题、提需求并参与讨论。
注意事项
- 本项目基于上游 vLLM 改造，再分发衍生版本时需保留上游许可证并署名 github.com/weicj。
- 当前 0.2.x 基线为 v0.2.2-post2，对应上游基线 b23433088b（v0.29.1rc0-33）。
- README 节选未提供具体安装/编译命令，实际步骤请以仓库 Release 与 CHANGELOG.md 为准，不要照搬其他 vLLM 教程。
- 方案仅针对 SM75 硬件，其他架构显卡不适用此分支的优化。
核心亮点
- 针对Turing架构做定制编译与算子替换，绕开官方vLLM对FP8/BF16新特性的硬件依赖
- 利用NVLink做双卡张量并行，把两张22GB卡的显存和带宽真正合并利用
- 给出可复现的配置与调优参数，单请求解码实测100+ tok/s，对老卡用户有直接参考价值
不足之处
- 强绑定双2080Ti 22GB+NVLink这一具体硬件组合，换卡或单卡场景基本不适用
- 属于社区定制方案，长期跟随vLLM上游更新的维护成本高，文档/社区待观察
适用场景
- 预算有限但已有双2080Ti的本地大模型部署
- 需要离线跑Qwen 27B级别模型做私有推理
- 研究老架构GPU上FP8权重与张量并行的性能边界
替代项目
vLLM、llama.cpp
上一篇：llm-d-kv-cache
下一篇：clewdr
同类项目推荐
aws-lambda-power-tuning
开源
自动跑遍内存档位，找出 Lambda 最省钱或最快的配置
AWS Lambda Power Tuning is an open-source tool that can help you visualize and fine-···
inferencedb
开源
把实时模型推理结果一键流入数据湖，方便后续分析
Stream inferences of real-time ML models in production to any data lake (Experimenta···
TinyGPT
开源
用 C++ 从零手写 LLM 推理，轻量无依赖，适合学习和嵌入式部署。
Tiny C++ LLM inference implementation from scratch
memgraph
开源
用内存图数据库给 AI 装上实时记忆，加速智能体响应。
High-performance open-source in-memory graph database for GraphRAG, AI memory, agent···
agentglass
开源
一个屏幕管住所有 AI 编程代理，实时看成本、拦危险操作
Every AI coding agent on your machine, on one screen — live cost, tokens and tool c···
gpu-unlock
开源
解锁 30 系显卡 FP/BF16 发射率，逼近专业卡算力
Your GeForce runs AI at half speed. This fixes it for 20/30/40 series cards. Up to 2···
hazmat
开源
给 AI 代理套上安全笼子，防破坏防泄露，还能一键回滚
Containment for AI agents - user isolation, sandboxed execution, network controls, b···
OmniStudio
开源
本地跑大模型，下载到多模态应用一个桌面全搞定
OmniStudio 是一个本地大模型一体化桌面工作台，集模型市集下载、llama.cpp/vLLM/SGLang 三···
anythingmcp
开源
无需代码，把任意 API/数据库变成 AI 的 MCP 连接器
Enterprise Agent Harness & MCP Gateway: connect APIs, databases, file servers and 60···