项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 883
使用教程
环境要求
- 无需运行环境
安装与启动步骤
-
1看缩写
README 列了 FKL/RKL/JSD 等目标函数缩写，先认清再读。
-
2按方法分组
清单按蒸馏目标类型分组，便于对比同一族方法。
-
3只看有代码的
标 paper-only 的跳过，节省时间。
-
4注意评测
不同论文的教师模型与数据集差异大，指标不可直接横比。
如何确认成功
能定位到目标方法的论文链接。
注意事项
- 与本目录另一份清单主题相近，内容有重叠。
核心亮点
- 精选并分类了在线策略蒸馏的论文和资源，节省检索时间
- 覆盖从基础到前沿，适合入门和追踪研究进展
- 附带代码链接，便于复现和实践
不足之处
- 文档/社区待观察
- 更新频率可能受维护者精力限制
适用场景
- 研究在线策略蒸馏方向时快速调研文献
- 为模型压缩和知识迁移寻找技术方案
- 教学和课程设计中引用最新论文
替代项目
Awesome-LLM、Awesome-Distillation、Awesome-Knowledge-Distillation
上一篇：LyCORIS
同类项目推荐
lora-pilot
开源
一键启动 Docker，搞定 LoRA 训练与验证全流程
From dataset to trained LoRA to finished image or video. One browser workspace for y···
Megatron-Bridge
开源
Hugging Face 模型一键转 Megatron 训练，训完再转回来
Training library for Megatron-based models with bidirectional Hugging Face conversio···
FastGen
开源
把扩散模型采样步数压下来，生成更快
NVIDIA FastGen: Fast Generation from Diffusion Models
mlflow_for_ml_dev
开源
跟着示例跑通 MLflow，搞定实验跟踪与模型管理
Repository with code examples of mlflow
rl-baselines3-zoo
开源
强化学习训练+自动调参，开箱即用
A training framework for Stable Baselines3 reinforcement learning agents, with hyper···
FineTuningLLMs
开源
跟着书一步步微调大模型，从零跑通全流程
Official repository of my book "A Hands-On Guide to Fine-Tuning LLMs with PyTorch an···
hands-on-train-and-deploy-ml
开源
10步搞定ML模型训练到API部署，以加密货币预测为例
Train and Deploy an ML REST API to predict crypto prices, in 10 steps
hypertune
开源
几行代码自动调参，快速找到最优模型参数
A library for performing hyperparameter optimization
tunix
开源
用 JAX 搭积木做 LLM 后训练，算法随便换
A Lightweight LLM Post-Training Library