Awesome-Multi-Token-Prediction

一次预测多个词,让大模型推理更快更省

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数据集 🍴 复刻 12 👀 关注 1
GitHub ↗
GitHub 星标 ★ 213
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费资源列表

项目预览

Awesome-Multi-Token-Prediction 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数据集
开发团队Xiaohao-Liu
定价模式🏷️完全免费
价格说明开源免费资源列表
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
技术栈/模型llm,llm-infer,llm-training
GitHub 星标★ 213
上线时间2025-06-20 00:00:00
代码更新2026-10-30
仓库体积2.7 MB
本站数据更新2026-11-04
维护状态活跃
收录时间2026-09-15
浏览次数1

项目介绍

这是一个聚焦大语言模型多Token预测(Multi-Token Prediction, MTP)技术的资源合集,系统整理了相关论文、工具与开源实现。MTP 的核心思路是让模型在单次前向传播中同时预测多个未来 token,而非传统的一次只预测下一个 token,从而提升训练效率、推理吞吐和生成质量。该项目覆盖 LLM、语音语言模型(SLM)等多种模型形态,把散落在 arXiv、GitHub、技术博客中的 MTP 工作汇总到一处,方便研究者和工程师快速了解该方向的发展脉络、代表性方法(如 Meta 的 MTP 训练目标、Medusa、EAGLE 等推测解码思路)以及可复现的实现。对于想优化推理速度、降低解码延迟或探索新训练范式的团队,它是一份省去大量检索时间的入门索引。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 213

技术标签

核心亮点

  • 按主题聚合 MTP 相关论文、工具与代码,省去跨平台检索成本
  • 覆盖 LLM 与语音语言模型,兼顾训练与推理两个方向
  • 收录推测解码、多 token 训练目标等热门落地技术,实用性强

不足之处

  • 仅为资源列表,不含可直接运行的代码或基准测试
  • 项目较早期,收录内容的更新频率与完整性有待观察

适用场景

  • 研究多 token 预测训练目标的算法工程师查阅论文索引
  • 推理优化团队寻找加速解码的可用工具与实现
  • 学生或新人快速入门 MTP 方向的技术脉络

替代项目

Awesome-LLM、Awesome-Speculative-Decoding

上一篇:VisioFirm

下一篇:awesome-japanese-nlp-resources

同类项目推荐

nepali-datasets 开源

尼泊尔语AI数据一页找齐,省去全网翻找

A comprehensive, curated collection of Nepali datasets aggregated from community sou···

★ 109 2026-09-21
mirdata 开源

统一加载校验MIR数据集,省去重复解析代码

Python library for working with Music Information Retrieval datasets

★ 419 2026-10-22
Bastet 开源

用 AI 数据集和自动化流程,精准揪出 DeFi 合约漏洞

Bastet is a comprehensive dataset of common smart contract vulnerabilities in DeFi a···

★ 123 2026-08-19
synergy-dataset 开源

用机器学习自动筛文献,系统综述省一半人力

SYNERGY - Open machine learning dataset on study selection in systematic reviews

★ 119 2026-09-21
TextAtlas 开源

让AI生成带密集文字的海报、封面更靠谱,评测更标准。

[ICML 2026]A Large-scale Dataset for training and evaluating model's ability on Den···

★ 94 2026-08-09
awesome-legal-data 开源

法律文本数据集一页汇总,省去全网搜数据时间

A collection of datasets and other resources for legal text processing.

★ 326 2026-09-21
sodaverse 开源

用GPT-3蒸馏百万级社交常识对话,让AI聊天更懂人情世故。

‍Code and dataset for our EMNLP 2023 paper - "SODA: Million-scale Dialogue Distilla···

★ 245 2026-08-09
ai-audio-datasets 开源

语音、音乐、音效数据一网打尽,做 AI 不愁没料

AI Audio Datasets (AI-ADS) , including Speech, Music, and Sound Effects, which can p···

★ 968 2026-08-09