SpecForge

训练投机解码模型，一键部署到 SGLang 提速

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署模型训练 🍴 复刻 383 🐛 待处理 252 👀 关注 12

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1255

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，需自行部署训练

项目预览

项目数据

分类模型训练

开发团队sgl-project

官网地址https://docs.sglang.ai/SpecForge

GitHubhttps://github.com/sgl-project/SpecForge

定价模式🏷️完全免费

价格说明开源免费，需自行部署训练

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型eagle,eagle3,fsdp,llm,pytorch,sglang,training

GitHub 星标★ 1255

上线时间2025-06-09 00:00:00

代码更新2026-11-02

仓库体积21.2 MB

本站数据更新2026-11-03

维护状态活跃

收录时间2026-09-16

浏览次数1

项目介绍

SpecForge 是一个面向大模型推理加速的开源训练框架，专门用于训练投机解码（speculative decoding）模型，并支持将训练结果平滑部署到 SGLang 推理引擎。投机解码通过让一个小型草稿模型预测多个候选 token，再由大模型并行验证，从而在不损失生成质量的前提下显著提升推理吞吐。SpecForge 解决了以往投机解码模型训练流程繁琐、与推理框架割裂的问题，内置 EAGLE、EAGLE3 等主流算法实现，基于 PyTorch 与 FSDP 支持多卡分布式训练，覆盖数据准备、训练、评测到导出部署的完整链路。用户可以用统一配置快速复现实验，训练完成后直接导出为 SGLang 可加载的权重，减少手工适配成本。项目处于成长阶段，社区活跃度上升，适合需要自建推理加速能力的团队与研究者在自有模型上落地投机解码。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 1255

技术标签

llm pytorch sglang training

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 20 分钟部署方式：本地安装 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（项目为 Python 开发）
PyTorch 与 FSDP，用于多卡分布式训练
GPU 训练节点（EAGLE / EAGLE3 训练需多卡）
使用 external 配方时，需自备 SGLang 与 Mooncake 服务

安装与启动步骤

1获取项目代码

从 GitHub 克隆 SpecForge 仓库到本地，作为后续训练配置与脚本的运行目录。
```
git clone https://github.com/sgl-project/SpecForge.git
```
2查阅官方文档

README 未给出安装命令，请先按官方文档完成环境与依赖安装，不要自行猜测包名。
3选择训练配方

在 examples/configs 下按 feature mode、拓扑与 online 服务归属挑选 yaml，如 external 配方。
4启动训练

用统一训练入口执行所选配置，路径需与 examples/configs 下实际文件一致。
```
specforge train --config examples/configs/online/disaggregated/external/qwen3-8b-eagle3-disaggregated.yaml
```
5准备外部服务

external 配方下 SpecForge 只监管生产者和消费者，Mooncake 与 SGLang 由用户或调度器自行启动。

关键配置

配置项	必填	说明	示例
`--config`	是	指定训练 YAML 配置文件路径，路径本身标识模式、拓扑与服务归属	`examples/configs/online/disaggregated/external/qwen3-8b-eagl`