JacobiForcing
让模型生成快数倍，质量不打折的并行解码新方案
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 119
核心亮点
- 采用 Jacobi 迭代并行预测多个 token，大幅减少解码步数，实测速度提升明显
- 与主流 HuggingFace 模型无缝集成，几行代码即可切换解码方式
- 论文级实现，附带清晰实验配置和结果复现脚本，学术价值高
不足之处
- 早期项目，文档和社区支持尚不完善，上手有一定门槛
- 对长序列生成的内存占用较高，需自行优化显存
适用场景
- 大模型低延迟推理服务，如聊天机器人、实时翻译
- 长文本生成场景，如文章摘要、代码补全
- 边缘设备上的模型部署，需平衡速度与资源
替代项目
Lookahead Decoding、Medusa、EAGLE
上一篇：FineTuningLLMs
下一篇：EAGLE
同类项目推荐
long-context-attention
开源
把超长上下文注意力切到多卡上，训练推理都能跑更长
USP: Unified (a.k.a. Hybrid, 2D) Sequence Parallel Attention for Long Context Transf···
MLOps
开源
跟着项目清单，动手练熟MLOps全流程
The repository contains a list of projects which I will work on while learning and i···
PERSIA
开源
多机并行训练大规模推荐模型
High performance distributed framework for training deep learning recommendation mod···
can-i-finetune-this
开源
先查显存再微调，避免模型下载后跑不动的尴尬
Single-GPU LLM fine-tuning preflight: memory estimates, runnable LoRA/QLoRA recipes,···
FastGen
开源
把扩散模型采样步数压下来，生成更快
NVIDIA FastGen: Fast Generation from Diffusion Models
verl-omni
开源
给扩散和全模态模型做 RL 后训练，一套框架跑通
Multimodal RL training framework for diffusion & omni models
SPO
开源
分步优化扩散模型，让AI生图更懂审美
[CVPR 2025] Aesthetic Post-Training Diffusion Models from Generic Preferences with S···
litgpt
开源
一条命令搞定大模型预训练、微调和部署，省时省力
20+ high-performance LLMs with recipes to pretrain, finetune and deploy at scale.
Awesome-LLM-On-Policy-Distillati···
开源
一网打尽LLM在线策略蒸馏论文，快速跟上研究前沿
A curated collection of papers and resources on On-Policy Distillation for Large Lan···