vLLM-Moet
消费级 Blackwell 上跑 2-bit MoE，画质对齐官方 FP4
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 566
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 新架构显卡
- 容器环境
- 模型权重
安装与启动步骤
-
1克隆
针对新架构显卡优化的混合专家推理。
git clone https://github.com/kacper-daftcode/vLLM-Moet && cd vLLM-Moet -
2起服务
用容器方式起最省事，注意共享内存。
docker run --rm --gpus all --network host --ipc host --shm-size 64g -v /srv/models:/models vllm-moet -
3跑基准
先量吞吐再谈优化。
python3 tools/sm120_perf/fraser_bench.py --base http://127.0.0.1:8001 -
4调批大小
混合专家模型对批大小敏感，逐档试。
-
5对比原版
同硬件上与原实现比，确认收益。
如何确认成功
起服务后基准脚本能拿到稳定的每秒生成 token 数，且高于同硬件上的原实现
注意事项
- 它针对特定显卡架构做了适配。
- 共享内存不足会导致进程被静默杀掉。
- 混合专家模型显存占用大，先算容量。
- 优化收益随批大小变化，要逐档测。
核心亮点
- 手写 SM120 SASS 内核，针对消费级 Blackwell 做指令级优化，而非通用 CUDA 实现
- 用 FP4 delta 缓存补偿 2-bit 量化误差，官方称质量可对齐 NVFP4 检查点
- 以 vLLM 补丁形式提供，可直接接入现有 vLLM 推理流程，迁移成本较低
不足之处
- 仅面向 SM120 消费级 Blackwell，硬件覆盖面窄，其他架构无法直接受益
- 项目早期、星标少，内核维护和后续兼容性依赖作者持续投入
适用场景
- 在 RTX 50 系消费卡上本地部署大 MoE 模型做推理
- 研究低比特量化与 SASS 内核优化的工程实践
- 为 vLLM 生态补充消费级 Blackwell 的 MoE 加速方案
替代项目
llama.cpp、TensorRT-LLM、SGLang
上一篇：vLLM-metax
下一篇：ClawManager
同类项目推荐
postgres
开源
最可靠的开源关系型数据库，搞定复杂数据场景
Mirror of the official PostgreSQL GIT repository. Note that this is just a *mirror* ···
database-build
开源
浏览器里玩转 Postgres，AI 帮你写 SQL
In-browser Postgres sandbox with AI assistance (formerly postgres.new)
llm-gateway
开源
一套接口接所有大模型，Agent 换供应商不用改代码
Open Source LLM Gateway
comfy2go
开源
用 Go 轻松接入 ComfyUI，快速实现图像生成服务
A Go-based API that acts as a bridge to the ComfyUI backend
sagemaker-custom-project-templat···
开源
用现成模板，快速搭建 SageMaker 标准化 MLOps 流水线
This repository contains guidance related to SageMaker AI Projects. SageMaker Projec···
doris
开源
一套数据库搞定实时报表与AI向量检索
Apache Doris is a real-time analytics and hybrid search database for AI agents.
ipex-llm
开源
让 Intel 电脑也能流畅跑大模型，推理微调一步到位
Accelerate local LLM inference and finetuning (LLaMA, Mistral, ChatGLM, Qwen, DeepSe···
lance
开源
两行代码转换 Parquet，让多模态 AI 数据访问快 100 倍
Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for···
dualmark
开源
一个页面，两种形态，让 AI 和人类都能读懂你的内容。
Open-source AEO (Answer Engine Optimization) infrastructure — every page, dual-mark···