KDFlow

一套配置跑通多种LLM蒸馏,小模型也能继承大模型能力

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 20 👀 关注 3
GitHub ↗
GitHub 星标 ★ 256
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,基于Python,需自行部署

项目预览

KDFlow 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队songmzhang
定价模式🏷️完全免费
价格说明开源免费,基于Python,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型cross-tokenizer-distillation,distillation,knowledge-distillation,large-languge-models,on-policy-distillation
GitHub 星标★ 256
上线时间2026-02-27 00:00:00
代码更新2026-11-16
仓库体积7.9 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-10-07
浏览次数5

项目介绍

KDFlow 是一个面向大语言模型的知识蒸馏框架,目标是把教师模型的能力高效迁移到更小的学生模型上。它把蒸馏流程模块化,用户只需配置教师、学生、数据与损失策略即可跑通训练,降低了自行拼装蒸馏管线的门槛。核心能力覆盖多种蒸馏范式:离线策略(off-policy)用教师生成的固定数据训练;在线策略(OPD)让学生边采样边接受教师指导,缓解训练与推理分布不一致;跨分词器(cross-tokenizer)蒸馏解决师生词表不同导致的 token 对齐难题;还支持多模态蒸馏与在线自蒸馏。框架基于 Python 实现,适合研究者在有限算力下复现和对比不同蒸馏方案,也方便工程团队把大模型能力压缩到可部署的小模型。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 256

核心亮点

  • 同时覆盖off-policy、on-policy、跨分词器、多模态与自蒸馏,范式齐全,不用为每种方法重写训练代码
  • 跨分词器蒸馏直接处理师生词表不一致问题,这是很多蒸馏框架缺失的实用能力
  • 模块化设计,教师/学生/数据/损失可替换,便于做消融实验和快速验证新想法

不足之处

  • 项目处于早期,星标仅253,文档完整度与示例丰富度可能不足
  • 生态和社区规模较小,遇到问题可参考的issue与第三方教程有限

适用场景

  • 把百亿参数大模型的能力蒸馏到几亿参数小模型,用于低成本部署
  • 研究在线策略蒸馏与离线蒸馏的效果差异,做对比实验
  • 师生模型使用不同分词器时,仍想完成知识迁移的场景

替代项目

MiniLLM、DistiLLM、LLM-KD

上一篇:LoongSage

下一篇:torchebm

同类项目推荐

ROLL 开源

大模型强化学习训练,一键从单机扩到集群

An Efficient and User-Friendly Scaling Library for Reinforcement Learning with Large···

★ 3456 2026-09-15
EasyLM 开源

用 JAX 轻松搞定 LLM 训练、微调和部署

Large language models (LLMs) made easy, EasyLM is a one stop solution for pre-traini···

★ 2514 2026-08-09
TimeSeriesGAN 开源

用 GAN 生成逼真时间序列,搞定数据增强和异常检测

GANs for Time series analysis (Synthetic data generation, anomaly detection and inte···

★ 70 2026-08-09
torch_brain 开源

用 PyTorch 快速搭建神经数据模型,省去数据预处理和训练样板代码

A library for designing and training deep learning models for neural data.

★ 106 2026-10-17
Awesome-Quantization-Papers 开源

一站式追踪神经网络量化前沿论文,快速掌握技术脉络。

List of papers related to neural network quantization in recent AI conferences and j···

★ 855 2026-08-09
meta-context-engineering 开源

让AI自动进化上下文策略,告别手写提示词

[ICML 2026] Meta Context Engineering via Agentic Skill Evolution

★ 186 2026-08-09
SepLLM 开源

压缩冗余片段,让大模型推理快 2.5 倍

[ICML 2025] "SepLLM: Accelerate Large Language Models by Compressing One Segment int···

★ 574 2026-08-09
sklearn-diagnose 开源

给 sklearn 模型做 AI 体检,一眼揪出过拟合和数据泄漏

AI-powered diagnosis for Scikit-learn models: Detect overfitting, data leakage, clas···

★ 61 2026-08-09
RLP 开源

把强化学习塞进预训练,让模型天生会决策

[ICLR 2026] Official PyTorch Implementation of RLP: Reinforcement as a Pretraining O···

★ 257 2026-08-09