项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 592
使用教程
环境要求
- 无需环境
安装与启动步骤
-
1先读配套综述
清单是综述的伴读材料，顺序别反。
-
2按方法族分组
在线蒸馏内部又分几类策略，各成一组。
-
3分清两类蒸馏
在线与离线是两件事，混着看会全乱。
-
4顺链接读原文
清单只给题目与出处。
如何确认成功
能说清在线蒸馏与离线蒸馏的本质区别，并指出各自适用条件
注意事项
- 它是阅读清单，不含实现。
- 在线蒸馏的核心是用学生自己采的样本，这点最容易理解错。
- 这个方向论文数量多但同质化严重。
- 综述的描述比清单条目更值得读。
核心亮点
- 聚焦在线策略蒸馏这一细分方向，资料集中，检索效率高
- 论文按主题分类，并附有代码链接，便于复现和对比
- 项目处于活跃更新状态，能反映最新研究动态
不足之处
- 内容以论文列表为主，缺乏深度解读和实验对比
- 文档/社区待观察，互动和贡献者较少
适用场景
- 科研人员调研在线蒸馏技术路线
- 工程师寻找模型压缩与加速的实用方案
- 学生入门知识蒸馏领域的学习导航
替代项目
Awesome-Knowledge-Distillation、Awesome-LLM-Distillation、Awesome-Distillation
上一篇：Megatron-LM
同类项目推荐
TimeSeriesGAN
开源
用 GAN 生成逼真时间序列，搞定数据增强和异常检测
GANs for Time series analysis (Synthetic data generation, anomaly detection and inte···
finetuned-qlora-falcon7b-medical
开源
用QLoRA微调Falcon-7B，打造心理健康对话助手
Finetuning of Falcon-7B LLM using QLoRA on Mental Health Conversational Dataset
lorax
开源
一个服务跑上千个微调模型，省 GPU 又省心
Multi-LoRA inference server that scales to 1000s of fine-tuned LLMs
ml-workflow-automation
开源
在 Notebook 里一键把模型部署到 Kubernetes，实现 ML 工作流自动化。
Python Machine Learning (ML) project that demonstrates the archetypal ML workflow wi···
strands-env
开源
快速搭建智能体强化学习训练环境，直接对接 Strands Agents。
A unified framework for building agentic RL environments.
sd-webui-traintrain
开源
在 WebUI 里点几下就能训练自己的 LoRA 模型
LoRA training extention for Stable Diffusion Web-UI
RLAIF-V
开源
用开源反馈训练视觉模型，让AI不懂装懂时敢说“不知道”
[CVPR'25 highlight] RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustwort···
JetSpec
开源
让大模型推理更快：并行草稿树突破推测解码速度天花板
JetSpec++/JetSpec: Causal Parallel (Tree) Drafting with Self Refinement
flame
开源
极简框架，快速训练线性注意力大模型
A minimal training framework for scaling FLA models