JetSpec
让大模型推理更快：并行草稿树突破推测解码速度天花板
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 256
核心亮点
- 创新性地用并行树草稿替代串行草稿，实测吞吐量提升显著
- 提供完整训练与推理流程，易于在现有LLM上集成
- 代码结构清晰，实验配置丰富，便于复现论文结果
不足之处
- 项目尚处早期，文档和社区支持待观察
- 对显存和计算资源要求较高，小规模部署收益有限
适用场景
- 大模型在线服务降低首字延迟
- 批量离线推理任务提升吞吐
- 边缘设备上加速中小规模模型生成
替代项目
Medusa、EAGLE、Lookahead Decoding
上一篇：MindPipe
同类项目推荐
LongCodeZip
开源
压缩长代码上下文，让模型轻松处理超长代码
LongCodeZip: Compress Long Context for Code Language Models [ASE2025]
MLM_Filter
开源
用多模态模型自动筛出高质量图文对，提升训练数据纯净度
Official implementation of our paper "Finetuned Multimodal Language Models are High-···
evo-memory
开源
给Transformer装上可扩展的神经记忆，突破上下文长度限制
Code to train and evaluate Neural Attention Memory Models to obtain universally-appl···
ai-toolkit
开源
写份配置就能微调扩散模型，LoRA 训练开箱即用
The ultimate training toolkit for finetuning diffusion models
EasyEdit
开源
像改数据库一样，直接修改大模型的知识，无需重训练。
[ACL 2024] An Easy-to-use Knowledge Editing Framework for LLMs.
LLM-SR
开源
用大模型从数据中自动发现科学方程，告别手动推导。
[ICLR 2025 Oral] This is the official repo for the paper "LLM-SR" on Scientific Equa···
FreeFuse
开源
测试时动态路由，多 LoRA 融合不打架
[TMLR26]FreeFuse: Multi-Subject LoRA Fusion via Adaptive Token-Level Routing at Test···
kohya_ss-docker
开源
在 Linux 上用 Docker 一键跑 kohya_ss，轻松微调 SD 模型
This is the tandem repository to exploit on linux the kohya_ss training webui conver···
deep-delta-learning
开源
学增量，少训练，模型升级快人一步
Official Project Page for Deep Delta Learning (https://arxiv.org/abs/2601.00417)