Decoding-Tree-Sketching

免训练即插即用，让LLM并行推理更快更稳

Decoding Tree Sketching (DTS) 是一个面向大语言模型并行推理的即插即用框架，发表于 ICML 2026。它无需训练，且与模型无关，可轻松集成到现有 LLM 推理流程中。DTS 通过构建解码树草图来组织和调度多个推理路径，从而提升并行推理的效率与质量，解决传统自回归解码速度慢、难以并行化的问题。其核心能力包括动态树结构构建、路径剪枝与合并，以及高效的并行解码策略，能在不牺牲生成质量的前提下显著加速推理过程。该框架适用于需要高吞吐量或低延迟的 LLM 应用场景。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 73

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队ZichengXu

所属国家

官网地址

GitHubhttps://github.com/ZichengXu/Decoding-Tree-Sketching

定价模式free

价格说明开源框架，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型chain-of-thought,decoding,deepseek,entropy,huggingface-transformers,inference-time-scaling,large-language-models,large-reasoning-models,parallel-thinking,phi,qwen,reasoning,test-time-scaling,training-free,tree-search,varentropy,vllm

GitHub 星标★ 73

30天Star增速

HF 下载量

上线时间2025-10-23 00:00:00

最近更新2026-09-19 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

无需训练，直接集成现有模型，降低使用门槛
模型无关，支持多种主流LLM架构，通用性强
通过树状草图优化并行解码，显著提升推理吞吐量

不足之处

早期项目，文档和社区生态尚待完善
并行推理的加速效果可能依赖具体任务和硬件环境

适用场景

高并发LLM服务，如聊天机器人、实时翻译
长文本生成场景，需要快速产出多个候选结果
资源受限环境下的LLM推理加速

替代项目

Medusa、EAGLE、Lookahead Decoding

项目介绍

Decoding-Tree-Sketching 是开发框架领域的开源项目，由 ZichengXu 开发，2025 年首次发布。

它收录于开发框架分类，该分类目前共有 803 个项目，GitHub 星标数为 73。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-19。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：高并发LLM服务，如聊天机器人、实时翻译。同类可对比的替代方案包括 Medusa、EAGLE、Lookahead Decoding。

上一篇：diagram-of-thought

下一篇：collaborative-gym