项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 484
使用教程
环境要求
- Python 3.10+
- 教师模型凭据
安装与启动步骤
-
1装包
以可编辑方式装。
pip install -e . -
2装模型接口依赖
它要调教师模型。
pip install openai -
3写一份蒸馏配置
它是配置驱动的，把算子串成流水线。
-
4跑一次蒸馏
先小规模看产出数据质量。
-
5人工抽检数据
蒸馏数据的质量问题最容易被忽略。
如何确认成功
跑完一轮蒸馏后产出可用于训练的数据集，抽检若干条样本的答案正确且格式统一
注意事项
- 它把黑盒教师模型转成高质量训练数据的工具，用配置把生成、评估、过滤等算子串起来。
- 配置驱动意味着改流程不用改代码。
- 蒸馏数据的质量问题会被下游模型放大，必须抽检。
- 调用教师模型有成本，先小规模验证配置。
核心亮点
- 提供统一 API，覆盖数据、训练、评估全流程，降低蒸馏入门门槛
- 内置多种蒸馏策略（黑盒/白盒），适应不同场景需求
- 与 Hugging Face 生态深度集成，支持主流模型架构
不足之处
- 文档/社区待观察
- 早期项目，功能覆盖可能不全面，稳定性待验证
适用场景
- 将大型 LLM 压缩为可部署的小型模型，降低推理成本
- 在特定领域用教师模型蒸馏出专精学生模型，提升垂直任务效果
- 快速对比不同蒸馏策略效果，用于研究实验
替代项目
Textbooks Are All You Need、DistilBERT、MiniLLM
同类项目推荐
AutoGrad-Engine
开源
600 行纯 C# 从零实现 GPT 训练与推理
A complete GPT language model (training and inference) in ~600 lines of pure C#, zer···
selfcodealign
开源
让代码模型自己教自己，无需人工标注，自动提升生成质量。
[NeurIPS'24] SelfCodeAlign: Self-Alignment for Code Generation
Awesome-Quantization-Papers
开源
一站式追踪神经网络量化前沿论文，快速掌握技术脉络。
List of papers related to neural network quantization in recent AI conferences and j···
TorchCP
开源
给深度学习预测加上可证明的可靠性边界，一行代码搞定不确定性量化。
A Python toolbox for conformal prediction research on deep learning models, using Py···
Tutel
开源
让 MoE 大模型训练更快更省显存，支持 FP8/FP4 低精度。
Tutel MoE: Optimized Mixture-of-Experts Library, Support GLM/Kimi/Gpt/DeepSeek/Qwen ···
LoRI
开源
多任务微调不打架，LoRA 参数更高效
[COLM 2025] LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation
SlideFormer
开源
单卡也能微调大模型，显存不够靠硬盘和内存顶上
An Efficient Heterogeneous Co-Design for Fine-Tuning on a Single GPU (DAC ‘26)
MTP
开源
多任务预训练遥感模型，一个骨干搞定多种任务
The official repo for [JSTARS'24] "MTP: Advancing Remote Sensing Foundation Model vi···
diffusion-DDIM-pytorch
开源
快速上手 DDIM，用更少步数生成高质量图像
This is a pytorch implementation of Denoising Diffusion Implicit Models