awesome-on-policy-distillation

一页看全 LLM 在线蒸馏论文与工具，省去到处翻找

这是一个围绕大语言模型在线策略蒸馏（On-Policy Distillation，OPD）的资源合集，系统整理了论文、技术报告、框架和工具。它解决的核心问题是：蒸馏领域资料分散、术语混乱（GKD、MiniLLM、知识蒸馏等概念交织），研究者和工程师难以快速定位到真正与在线策略蒸馏相关的工作。项目把 OPD 相关的经典论文、最新进展、开源实现和训练工具按主题归类，形成可检索的清单。核心能力包括：一是论文索引，覆盖从早期序列级蒸馏到当前在线策略方法；二是框架与工具汇总，方便直接上手复现；三是标签体系，把 GKD、MiniLLM 等关键词统一到 OPD 语境下。对于想入门 LLM 蒸馏、或需要跟踪该方向前沿的开发者，它相当于一张持续更新的地图，省去大量检索和筛选成本。