qwen38-mtp

一个 flag 让本地 Qwen 解码快四成

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 361
维护状态 较活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类基础设施
开发团队sudoingX
所属国家
官网地址
GitHubhttps://github.com/sudoingX/qwen38-mtp
定价模式free
价格说明开源免费，无在线服务，需自行部署使用
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型
GitHub 星标★ 361
30天Star增速
HF 下载量
上线时间2026-08-14 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-16
浏览次数0

项目介绍

qwen38-mtp 是一个针对 Qwen3.8-27B 模型在消费级 GPU 上推理加速的开源方案。它发现 llama.cpp 中已存在一个未被充分利用的 flag，可以开启 GGUF 文件内自带的 MTP（多 token 预测）头，从而在解码阶段获得 33% 到 39% 的速度提升。项目不仅给出了完整的操作配方，还提供了配对基准测试和探测工具，帮助用户确认自己的 GGUF 是否包含 MTP 头以及开启后的实际收益。对于本地部署大模型的开发者来说，这意味着无需更换硬件或重新训练模型，只需调整一个参数就能显著改善生成速度，尤其适合显存有限、追求性价比的消费级显卡用户。项目用 Python 编写，代码量不大，核心价值在于发现并验证了这一隐藏优化路径，降低了普通用户尝试 MTP 加速的门槛。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 只需修改 llama.cpp 启动参数即可生效，无需重新量化或训练模型
  • 提供配对基准测试和探测工具，能直接验证 GGUF 是否自带 MTP 头及实际加速比
  • 针对消费级 GPU 优化，在有限显存下也能获得 33%-39% 的解码速度提升

不足之处

  • 依赖 llama.cpp 对 MTP 头的支持，若上游接口变动可能失效
  • 目前仅验证 Qwen3.8-27B 单一模型，其他模型兼容性未知

适用场景

  • 本地用消费级显卡部署 Qwen3.8-27B 进行对话或代码生成，希望提升响应速度
  • 已经用 llama.cpp 跑 GGUF 模型，想在不换硬件的前提下榨取额外性能
  • 研究 MTP 投机解码效果，需要可复现的基准测试和探测工具

替代项目

llama.cpp、vLLM

上一篇：jangq

下一篇：anemll-flash-llama.cpp

同类项目推荐

freebuff-proxy 开源

聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。

DEPRECATED — moved to https://github.com/trefeon/freelane. Archived; no longer main···

★ 300 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。

A Tiny biped duck robot

★ 9427 2026-09-10
ollama 开源

一条命令本地跑起大模型，免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 183283 2026-08-09
soperator 开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 444 2026-08-10