TorchSpec

用 PyTorch 原生训练投机解码草稿模型，推理直接提速

开源 free 模型训练

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 261

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类模型训练

开发团队lightseekorg

所属国家

官网地址https://pytorch.org/blog/torchspec-speculative-decoding-training-at-scale

GitHubhttps://github.com/lightseekorg/TorchSpec

定价模式free

价格说明开源免费，基于PyTorch，无在线服务

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型dspark,eagle3,fsdp,lightseek,llm,mooncake,pytorch,tokenspeed,vllm

GitHub 星标★ 261

30天Star增速

HF 下载量

上线时间2026-02-21 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-17

浏览次数0

项目介绍

TorchSpec 是一个基于 PyTorch 原生实现的投机解码（speculative decoding）模型训练库，主要解决大语言模型推理加速中草稿模型（draft model）训练流程分散、与主流推理框架脱节的问题。它把 EAGLE3、DSpark、LightSeek 等投机解码算法的训练逻辑统一到 PyTorch 生态中，支持 FSDP 分布式训练，并可与 vLLM、Mooncake、TokenSpeed 等推理/服务组件对接。核心能力包括：提供可复用的训练管线与配置，让研究者和工程师能针对自己的基座模型训练草稿头或草稿模型；兼容多种投机解码结构，降低从训练到部署的迁移成本；借助 PyTorch 原生接口，便于调试、扩展和与现有训练栈集成。项目处于早期阶段，适合想深入投机解码训练细节、又不希望被封闭框架绑定的团队。