vllm-deepseek-v4-sm89

让新模型在 4090 等消费卡上跑起 vLLM 推理

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 25 🐛 待处理 40 👀 关注 3
GitHub ↗
GitHub 星标 ★ 196
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，需自行部署

项目预览

vllm-deepseek-v4-sm89 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队yhfgyyf
GitHubhttps://github.com/yhfgyyf/vllm-deepseek-v4-sm89
定价模式🏷️完全免费
价格说明开源免费，需自行部署
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 196
上线时间2026-06-16 00:00:00
代码更新2026-10-27
仓库体积222.4 MB
本站数据更新2026-10-28
维护状态活跃
收录时间2026-10-28
浏览次数0

项目介绍

这是一个面向 vLLM 推理框架的适配补丁项目，目标是让 DeepSeek-V4.1-Flash、DeepSeek-V4-Flash 与 GLM-5.3-Flash 等大模型能在 SM89（Ada 架构，如 RTX 4090）和 SM120（RTX PRO 6000）消费级与工作站显卡上跑起来。官方 vLLM 对这些新架构 GPU 与新型号模型的组合支持往往滞后，用户直接加载会遇到算子不兼容、显存布局不匹配、kernel 缺失等问题。项目通过补充自定义算子、调整注意力与量化路径、提供启动脚本和配置模板，把原本只在数据中心卡上验证过的推理链路移植到单卡或小规模多卡环境，降低本地部署门槛。核心能力包括：针对 SM89/SM120 的 kernel 适配、模型权重加载兼容处理、vLLM 服务化启动参数封装，以及可复现的部署说明。适合想在个人工作站上做模型评测、微调后验证或小流量服务的研究者与开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 196

核心亮点

  • 针对 SM89/SM120 做具体算子与 kernel 适配，解决官方 vLLM 直接加载失败的兼容问题
  • 同时覆盖 DeepSeek 与 GLM 两个系列多个 Flash 型号，配置模板可直接复用
  • 提供可复现的启动脚本与部署说明，降低单卡本地推理的调试成本

不足之处

  • 早期项目，星标与社区规模小，长期维护和问题响应待观察
  • 仅覆盖特定 GPU 架构与模型组合，通用性和上游合并进度不明确

适用场景

  • 在 RTX 4090 单卡上本地部署 DeepSeek-V4-Flash 做推理评测
  • 用 RTX PRO 6000 工作站搭建小流量模型服务做效果验证
  • 微调后模型在消费级显卡上的推理链路快速验证

替代项目

vLLM、SGLang、llama.cpp

上一篇：amd-r9700-vllm-toolboxes

下一篇：vllm-ultimate-dgx-spark

同类项目推荐

AVH 开源

用 Arm 虚拟硬件，免开发板跑嵌入式软件

This repository explains the usage of Arm Virtual Hardware Fixed Virtual Platforms (···

★ 55 2026-08-09
free-one-api 开源

一个 API 搞定所有免费逆向 AI，OpenAI 格式无缝切换

LLM 逆向工程接口管理 | 通过标准 OpenAI API 访问 ChatGPT / gpt4free / Bard / Claude /···

★ 935 2026-08-09
InfiniTensor 开源

让大模型在多种 GPU 上快速跑起来并方便做实验

InfiniTensor is a high-performance inference engine tailored for GPUs and AI acceler···

★ 541 2026-10-08
mcp-gateway 开源

把 MCP 服务器管起来，K8s 里会话不丢、扩缩容不慌

MCP Gateway is a reverse proxy and management layer for MCP servers, enabling scalab···

★ 897 2026-09-16
ai-gateway 开源

一个网关接入30+大模型，自带缓存、护栏和成本控制

Unified AI Gateway for 30+ LLMs (OpenAI, Anthropic, Bedrock, Azure etc) with Caching···

★ 271 2026-08-09
agentsre 开源

给AI智能体装上SRE仪表盘，提前发现质量劣化

SRE reliability instrumentation for agentic AI — DQR, TIE, HER, AQD

★ 310 2026-10-18
ai-gate 开源

一个应用搞定所有AI聊天，免密钥免切换

Why juggle 6 AI tools? AI Gate does it. No API keys. A single gateway to ChatGPT, Ge···

★ 219 2026-08-09
emisar 开源

让 AI 安全操作你的基础设施，审批可控，生产无忧。

Let AI agents investigate and operate infrastructure through declared actions, bound···

★ 330 2026-08-09
extractous 开源

一条命令提取所有文档内容，快如闪电

Fast and efficient unstructured data extraction. Written in Rust with bindings for m···

★ 1784 2026-08-09