JacobiForcing

让模型生成快数倍,质量不打折的并行解码新方案

JacobiForcing 是一个面向扩散式解码(diffusion-style decoding)的高效推理加速方法,由 ICML 2026 论文提出。它针对自回归生成模型逐 token 生成速度慢的问题,引入 Jacobi 迭代与强制解码(forcing)机制,在保持生成质量的同时显著减少解码步数。项目提供了完整的训练与推理代码,支持多种主流模型架构,通过并行化 token 预测和动态收敛判断,实现比传统自回归解码更快的生成速度,同时保证输出准确率。核心能力包括:基于 Jacobi 迭代的并行解码算法、与现有模型无缝集成的接口、以及针对不同任务(如文本生成、代码补全)的优化策略。该项目适合需要低延迟生成的应用场景,为扩散式解码在工业界的落地提供了高效、易用的开源实现。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 120
维护状态 低维护
是否开源
定价模式 free

项目数据

分类开源模型
开发团队hao-ai-lab
所属国家
官网地址
定价模式free
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态
是否开源
开源协议Apache-2.0
主要语言Python
技术栈/模型efficient-llm-inference,large-language-models,parallel-decoding
GitHub 星标★ 120
30天Star增速
HF 下载量
上线时间2025-06-25 00:00:00
最近更新2026-09-01 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

使用教程

核心亮点

  • 采用 Jacobi 迭代并行预测多个 token,大幅减少解码步数,实测速度提升明显
  • 与主流 HuggingFace 模型无缝集成,几行代码即可切换解码方式
  • 论文级实现,附带清晰实验配置和结果复现脚本,学术价值高

不足之处

  • 早期项目,文档和社区支持尚不完善,上手有一定门槛
  • 对长序列生成的内存占用较高,需自行优化显存

适用场景

  • 大模型低延迟推理服务,如聊天机器人、实时翻译
  • 长文本生成场景,如文章摘要、代码补全
  • 边缘设备上的模型部署,需平衡速度与资源

替代项目

Lookahead Decoding、Medusa、EAGLE

项目介绍

JacobiForcing 是模型训练领域的开源项目,由 hao-ai-lab 开发,2025 年首次发布。

它收录于模型训练分类,该分类目前共有 518 个项目,GitHub 星标数为 120。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-01。Apache-2.0 许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:大模型低延迟推理服务,如聊天机器人、实时翻译。同类可对比的替代方案包括 Lookahead Decoding、Medusa、EAGLE。

上一篇:FineTuningLLMs

下一篇:EAGLE

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列,训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性,长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型,练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13