sndr_core_engine

消费级显卡上榨干大模型性能，推理速度翻倍

SNDR Core Engine (Genesis) 是一个针对消费级 NVIDIA GPU（如 RTX 3090、A5000）的 vLLM 运行时补丁覆盖层，旨在优化 Qwen3.6 和 Gemma4 等大模型的推理性能。它通过 321 个补丁实现 TurboQuant k8v4 KV 缓存量化、MTP/DFlash 推测解码、完整 CUDA Graph 捕获以及混合 GDN 架构支持，在双卡配置下可将 Qwen3.6-35B-A3B FP8 的推理速度提升至约 240 tokens/秒，并支持 256K 上下文长度。项目还提供 Control Center 图形界面，方便用户监控和配置。核心解决的是在消费级硬件上高效运行前沿大模型的问题，让个人开发者和小型团队无需昂贵的数据中心 GPU 即可获得接近企业级的推理性能。