一网打尽LLM在线策略蒸馏论文，快速跟上研究前沿
这是一个关于大语言模型在线策略蒸馏（On-Policy Distillation）的精选资源清单，汇集了相关论文、代码和工具。在线策略蒸馏是知识蒸馏的一种重要形式，旨在让教师模型通过在线交互生成数据来指导学生模型，从而提升学生模型的性能，尤其在强化学习和生成式任务中表现突出。该项目解决了传统离线蒸馏中数据分布不匹配、学生模型难以适应动态环境的问题，为研究者提供了系统性的资料索引。核心能力包括：分类整理前沿论文、提供代码链接、标注研究趋势，帮助用户快速了解该领域的发展脉络和关键技术。目前项目处于早期阶段，内容持续更新中，适合对模型压缩、知识迁移和高效推理感兴趣的开发者与研究人员。
Awesome-Knowledge-Distillation、Awesome-LLM-Distillation、Awesome-Distillation
Awesome-LLM-On-Policy-Distillation 是模型训练领域的开源项目，由 nick7nlp 开发，是 2026 年新上线的项目。
它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 558。
项目仍在小幅维护中，最近一次代码更新于 2026-09-23。MIT许可证，完全免费，无付费版本。
它主要面向的使用场景是：科研人员调研在线蒸馏技术路线。同类可对比的替代方案包括 Awesome-Knowledge-Distillation、Awesome-LLM-Distillation、Awesome-Distillation。
上一篇：Megatron-LM
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
