项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 73
核心亮点
- 创新性地将扩散思想融入推测解码，为加速 LLM 推理提供新思路
- 官方实现，代码质量有保障，便于复现和二次开发
- 支持与主流 LLM 集成，可灵活应用于不同模型
不足之处
- 项目处于早期，文档和社区支持尚不完善
- 性能提升效果依赖具体模型和任务，需自行验证
适用场景
- 大模型在线服务需要降低推理延迟的场景
- 资源受限环境下部署 LLM 并希望提升吞吐量
- 研究推测解码算法及其与扩散模型结合的学术探索
替代项目
Medusa、EAGLE、Lookahead Decoding
同类项目推荐
Time-R1
开源
用三阶段强化学习，让大模型真正理解时间、预测未来。
Time-R1: Framework and resources for endowing LLMs with comprehensive temporal reaso···
mrmr
开源
高维数据下自动选特征，去冗余提精度
mRMR (minimum-Redundancy-Maximum-Relevance) for automatic feature selection at scale···
EasyLM
开源
用 JAX 轻松搞定 LLM 训练、微调和部署
Large language models (LLMs) made easy, EasyLM is a one stop solution for pre-traini···
self-llm
开源
手把手教你微调部署开源大模型，中文教程一步到位
《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调（全参数/Lora）、部···
DrMAS
开源
把多智能体协作变成可训练环境，让多个 LLM 一起进化
Dr. MAS is an end-to-end RL training framework for multi-agent LLM systems, supporti···
Rethinking-OPD
开源
拆解大模型在线蒸馏为何翻车，给出可复现配方
[TMLR] Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Me···
LoRI
开源
多任务微调不打架，LoRA 参数更高效
[COLM 2025] LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation
INTERS
开源
给大模型注入搜索能力，让检索结果更精准
This is the repository for our paper "INTERS: Unlocking the Power of Large Language ···
SpecForge
开源
训练投机解码模型，一键部署到 SGLang 提速
Train speculative decoding models effortlessly and port them smoothly to SGLang serv···