项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 147
核心亮点
- 针对 sm_121a/GB10 从源码编译 vLLM 0.27.1，填补官方对新架构的适配空白
- 内置 NVFP4-KV、NVFP4_AWQ 等低精度量化算子，并处理 NHD 布局安全问题
- torch、FlashInfer、NCCL 版本锁定为验证过的组合，避免依赖地狱
不足之处
- 强绑定 DGX Spark/Blackwell 特定架构，通用 GPU 无法直接使用
- 早期项目星标少，长期维护与版本跟进节奏待观察
适用场景
- 在 DGX Spark 工作站上部署本地大模型推理服务
- 为 Blackwell 架构集群统一推理镜像与依赖版本
- 验证 NVFP4 量化与张量并行在新硬件上的性能
替代项目
vllm、TensorRT-LLM、SGLang
下一篇：HyperQwen
同类项目推荐
TurboDiffusion
开源
出片快上百倍，画质依然在线
TurboDiffusion: 100–200× Acceleration for Video Diffusion Models
langsmith-fetch
开源
一条命令把 LangSmith 追踪数据拉到本地做分析
CLI for fetching LangSmith data
AgentMeasure
开源
把 Agent 的真实表现和商业价值，用一把尺子量清楚。
Inspect Codex / Claude logs, verify metering samples and re-count supported billing ···
Strata
开源
一键把大模型装进自己电脑，本地 API 即开即用
Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. ···
whitebox
开源
在K8s和边缘设备上，一站式监控你的ML模型健康
[Not Actively Maintained] Whitebox is an open source E2E ML monitoring platform with···
ort
开源
用 Rust 跑 ONNX 模型，推理训练一把梭
Fast ML inference & training for ONNX models in Rust
semantic-cache
开源
让缓存懂语义，相似查询秒命中，降低后端压力
A fuzzy key value store based on semantic similarity rather lexical equality.
gemma4.java
开源
纯 Java 跑 Gemma 4，不装 Python 也能本地推理
Fast Gemma 4 inference in pure Java
SkillCorpus
开源
把零散技能文件，变成智能体随手可用的检索库
Open-source infrastructure that turns scattered SKILL.md files into curated, retriev···