
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 256
核心亮点
- 同时覆盖off-policy、on-policy、跨分词器、多模态与自蒸馏,范式齐全,不用为每种方法重写训练代码
- 跨分词器蒸馏直接处理师生词表不一致问题,这是很多蒸馏框架缺失的实用能力
- 模块化设计,教师/学生/数据/损失可替换,便于做消融实验和快速验证新想法
不足之处
- 项目处于早期,星标仅253,文档完整度与示例丰富度可能不足
- 生态和社区规模较小,遇到问题可参考的issue与第三方教程有限
适用场景
- 把百亿参数大模型的能力蒸馏到几亿参数小模型,用于低成本部署
- 研究在线策略蒸馏与离线蒸馏的效果差异,做对比实验
- 师生模型使用不同分词器时,仍想完成知识迁移的场景
替代项目
MiniLLM、DistiLLM、LLM-KD
同类项目推荐
ROLL
开源
大模型强化学习训练,一键从单机扩到集群
An Efficient and User-Friendly Scaling Library for Reinforcement Learning with Large···
EasyLM
开源
用 JAX 轻松搞定 LLM 训练、微调和部署
Large language models (LLMs) made easy, EasyLM is a one stop solution for pre-traini···
TimeSeriesGAN
开源
用 GAN 生成逼真时间序列,搞定数据增强和异常检测
GANs for Time series analysis (Synthetic data generation, anomaly detection and inte···
torch_brain
开源
用 PyTorch 快速搭建神经数据模型,省去数据预处理和训练样板代码
A library for designing and training deep learning models for neural data.
Awesome-Quantization-Papers
开源
一站式追踪神经网络量化前沿论文,快速掌握技术脉络。
List of papers related to neural network quantization in recent AI conferences and j···
meta-context-engineering
开源
让AI自动进化上下文策略,告别手写提示词
[ICML 2026] Meta Context Engineering via Agentic Skill Evolution
SepLLM
开源
压缩冗余片段,让大模型推理快 2.5 倍
[ICML 2025] "SepLLM: Accelerate Large Language Models by Compressing One Segment int···
sklearn-diagnose
开源
给 sklearn 模型做 AI 体检,一眼揪出过拟合和数据泄漏
AI-powered diagnosis for Scikit-learn models: Detect overfitting, data leakage, clas···
RLP
开源
把强化学习塞进预训练,让模型天生会决策
[ICLR 2026] Official PyTorch Implementation of RLP: Reinforcement as a Pretraining O···