awesome-on-policy-distillation

一页看全 LLM 在线蒸馏论文与工具，省去到处翻找

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 模型训练 🍴 复刻 41 🐛 待处理 8 👀 关注 10
GitHub ↗
GitHub 星标 ★ 908
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费资源列表

项目预览

awesome-on-policy-distillation 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类模型训练
开发团队chrisliu298
GitHubhttps://github.com/chrisliu298/awesome-on-policy-distillation
定价模式🏷️完全免费
价格说明开源免费资源列表
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议CC0-1.0
技术栈/模型awesome,awesome-list,distillation,gkd,knowledge-distillation,llm,llm-distillation,llm-training,minillm,on-policy-distillation,opd,post-training,reinforcement-learning,rl,rlhf,self-distillation,speculative-decoding
GitHub 星标★ 908
上线时间2026-03-22 00:00:00
代码更新2026-10-06
仓库体积829 KB
本站数据更新2026-11-04
维护状态较活跃
收录时间2026-09-15
浏览次数1

项目介绍

这是一个围绕大语言模型在线策略蒸馏（On-Policy Distillation，OPD）的资源合集，系统整理了论文、技术报告、框架和工具。它解决的核心问题是：蒸馏领域资料分散、术语混乱（GKD、MiniLLM、知识蒸馏等概念交织），研究者和工程师难以快速定位到真正与在线策略蒸馏相关的工作。项目把 OPD 相关的经典论文、最新进展、开源实现和训练工具按主题归类，形成可检索的清单。核心能力包括：一是论文索引，覆盖从早期序列级蒸馏到当前在线策略方法；二是框架与工具汇总，方便直接上手复现；三是标签体系，把 GKD、MiniLLM 等关键词统一到 OPD 语境下。对于想入门 LLM 蒸馏、或需要跟踪该方向前沿的开发者，它相当于一张持续更新的地图，省去大量检索和筛选成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 908

使用教程

难度：入门 约 8 分钟 部署方式：在线文档 4 步

环境要求

  • 无需运行环境

安装与启动步骤

  1. 1看缩写表

    README 顶部给了 FKL、RKL、JSD 等缩写，先认清这些再读条目。

  2. 2按方法分类

    清单按蒸馏目标与正则项类型分组，便于横向比较。

  3. 3挑有代码的

    标注 paper-only 的没有开源实现，想复现跳过。

  4. 4对照实验设置

    同一方法的指标差异往往来自教师模型与数据，读的时候留意。

如何确认成功

能定位到某个方法的论文与代码仓库。

注意事项

  • 清单更新频率一般，看最后更新时间判断新鲜度。

核心亮点

  • 按主题分类整理论文、技术报告与工具，检索路径清晰
  • 覆盖 GKD、MiniLLM 等主流 OPD 方向，关键词标签统一
  • 持续收录新工作，适合作为跟踪该领域进展的入口

不足之处

  • 仅做资源索引，不提供代码实现或可运行示例
  • 内容质量依赖人工维护，更新频率和覆盖度待观察

适用场景

  • 调研 LLM 蒸馏方向时快速建立论文全景
  • 为训练项目选型蒸馏框架时对比候选工具
  • 写综述或组会分享时直接引用整理好的资料清单

替代项目

awesome-llm、awesome-knowledge-distillation

上一篇：ArcticTraining

下一篇：MyLLM

同类项目推荐

AutoGPTQ 开源

一键量化大模型，显存减半推理加速

An easy-to-use LLMs quantization package with user-friendly apis, based on GPTQ algo···

★ 5068 2026-08-09
MotionRFT 开源

给文本生成动作模型做轻量强化微调

[ICLR'26 & TPAMI‘26] This repository is the official implementation of "EasyTune: E···

★ 258 2026-10-28
mergekit 开源

拖拽式合并大模型，轻松融合多个模型能力

Tools for merging pretrained large language models.

★ 7430 2026-08-09
qqr 开源

让开放式智能体在变化环境中持续强化学习训练

qqr is an RL training framework for open-ended agents.

★ 322 2026-10-13
J-Wash 开源

可视化模型内部机制，手动微调对齐行为并导出结果

Jacobian-Brainwash : A manual alignment tool for large language models built on Anth···

★ 241 2026-08-09
stable-pretraining 开源

一键搭建稳定可扩展的预训练流程，专注模型研究而非工程细节。

Reliable, minimal and scalable library for pretraining foundation and world models

★ 340 2026-08-09
MHLA 开源

用 token 级多头，让线性注意力恢复全量表达力

[ICLR 2026] MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-H···

★ 160 2026-08-09
Olive 开源

一条配置流水线，把模型量化优化到各种硬件上跑

Olive: Simplify ML Model Finetuning, Conversion, Quantization, and Optimization for ···

★ 2409 2026-10-17
CausalMM 开源

破解注意力因果，减少多模态模型瞎编乱造

[ICLR 2025] Mitigating Modality Prior-Induced Hallucinations in Multimodal Large Lan···

★ 67 2026-08-09