OnlineSPEC

让草稿模型边推理边进化，解码速度越用越快

OnlineSPEC 是一个面向大语言模型推理加速的开源项目，核心思想是将投机解码（Speculative Decoding）与在线学习（Online Learning）相结合。传统投机解码依赖静态的草稿模型，而 OnlineSPEC 让草稿模型在推理过程中根据目标模型的实时反馈动态进化，从而更精准地预测后续 token，减少目标模型的调用次数，显著提升解码速度。项目提供了完整的训练与推理流程，支持主流 LLM 架构，并已在 ICML 2026 论文中验证其有效性。它解决了静态草稿模型在分布偏移下效率退化的问题，实现了推理时自适应优化，特别适合长文本生成和高并发服务场景。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 127

维护状态维护中

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队ZinYY

所属国家

官网地址

GitHubhttps://github.com/ZinYY/OnlineSPEC

定价模式free

价格说明开源项目，本地部署，完全免费。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型efficient-inference,large-language-models,llm,on-policy-distillation,online-learning,parallel-decoding,speculative-decoding

GitHub 星标★ 127

30天Star增速

HF 下载量

上线时间2026-03-13 00:00:00

最近更新2026-09-12 00:00:00

维护状态维护中

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

核心亮点

提出草稿模型在线进化机制，突破静态投机解码的性能瓶颈
基于 ICML 2026 论文，算法有理论支撑，实验效果明确
与现有投机解码框架兼容，可快速集成到主流推理引擎

不足之处

项目处于早期阶段，文档和社区支持尚不完善
在线学习机制可能引入额外计算开销，需权衡收益

适用场景

大模型长文本生成加速，如文章、报告自动撰写
高并发 API 服务，降低推理延迟和成本
边缘设备上的 LLM 部署，提升响应速度

替代项目

Medusa、EAGLE、SpecInfer

项目介绍

OnlineSPEC 是模型训练领域的开源项目，由 ZinYY 开发，是 2026 年新上线的项目。

它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 127。

项目仍在小幅维护中，最近一次代码更新于 2026-09-12。本地部署，完全免费。

它主要面向的使用场景是：大模型长文本生成加速，如文章、报告自动撰写。同类可对比的替代方案包括 Medusa、EAGLE、SpecInfer。

上一篇：Awesome-LLM-Post-training

下一篇：Finetuning-Suite