torchdistill

免写代码，配置即复现顶会知识蒸馏实验

torchdistill 是一个基于 PyTorch 的免编码深度学习框架，专注于知识蒸馏（Knowledge Distillation）研究。它解决了知识蒸馏实验复现难、实现繁琐的问题，提供了声明式配置和模块化设计，用户无需编写训练代码即可复现或设计蒸馏实验。框架已实现 26 种发表于 TPAMI、CVPR、ICLR 等顶会的蒸馏方法，涵盖分类、目标检测、语义分割等任务，并支持 CIFAR、ImageNet、COCO 等数据集。核心能力包括：灵活的蒸馏配置、自动日志记录、模型与日志的公开基准，以及可扩展的 API 接口。通过 YAML 配置文件定义教师/学生模型、蒸馏损失、优化器等，大幅降低实验门槛，适合快速验证新想法和对比不同蒸馏策略。

开源 free 开发框架

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1632

维护状态活跃

是否开源是

定价模式 free

项目数据

分类开发框架

开发团队yoshitomo-matsubara

所属国家

官网地址https://yoshitomo-matsubara.net/torchdistill

GitHubhttps://github.com/yoshitomo-matsubara/torchdistill

定价模式free

价格说明开源免费，无付费版本

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型amazon-sagemaker-lab,cifar10,cifar100,coco,colab-notebook,glue,google-colab,image-classification,imagenet,knowledge-distillation,natural-language-processing,nlp,object-detection,pascal-voc,pytorch,pytorch-ecosystem,semantic-segmentation,text-classification,transformer

GitHub 星标★ 1632

30天Star增速

HF 下载量

上线时间2019-12-18 00:00:00

最近更新2026-09-23 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-13

浏览次数5

使用教程

难度：入门约 10 分钟部署方式：库/依赖 5 步

环境要求

Python >= 3.9（README 明确要求）
pip / pip3 包管理工具
pipenv（可选，README 标注为 optional）
能访问 PyPI 或 GitHub 的网络环境

安装与启动步骤

1检查 Python 版本

torchdistill 要求 Python 3.9 及以上，版本过低会导致安装失败，先确认版本再继续。
```
python3 --version
```
2用 pip 安装

README 推荐的最简安装方式，直接从 PyPI 安装 torchdistill，适合大多数用户。
```
pip3 install torchdistill
```
3或从源码安装

README 标注此方式为 not recommended，仅建议需要改源码时使用；装完可在 configs/sample/ 看示例配置。
```
git clone https://github.com/yoshitomo-matsubara/torchdistill.git
cd torchdistill/
pip3 install -e .
```
4验证安装成功

导入包确认安装无误，若报 ModuleNotFoundError 说明安装环境与当前解释器不一致。
```
python3 -c "import torchdistill"
```
5跑通一个前向示例

按 README 示例用随机张量构造输入并调用模型前向，验证 torch 与 torchdistill 环境可用。
```
import torch
x = torch.rand(32, 3, 224, 224)
y = model(x)
```

如何确认成功

执行 python3 -c "import torchdistill" 无报错，或用 README 示例中的 torch.rand 构造输入并成功得到模型输出，即表示环境就绪。

常见问题

Q：必须安装 pipenv 吗？

A：不必。README 中 pipenv 标注为 optional，直接用 pip3 install torchdistill 即可完成安装。

Q：真的不用写训练代码吗？

A：是的。torchdistill 通过声明式 yaml 配置定义实验，无需改 Python 代码；从配置里去掉 teacher 条目就能做无教师的普通训练。

Q：提取教师/学生的中间特征要改模型吗？

A：不用。只需在 yaml 中指定模块路径（module path）即可提取中间表示，避免改动 forward 接口。

Q：去哪里找可用的示例配置？

A：仓库中的 configs/sample/ 目录提供了示例配置，可作为编写自己实验配置的起点。

注意事项

README 明确说明源码安装（pip3 install -e .）不推荐，优先使用 pip 安装。
在论文中引用 torchdistill 时，应引用其论文列表而非 GitHub 仓库本身。
README 未给出固定端口、服务地址或默认路径，本教程不含此类内容。

核心亮点

内置 26 种顶会蒸馏方法，覆盖主流算法，即开即用
纯 YAML 配置驱动，无需编程即可设计蒸馏实验
提供预训练模型和训练日志，确保实验可复现性

不足之处

文档偏学术化，新手入门曲线较陡
社区活跃度一般，问题反馈响应可能较慢

适用场景

快速复现论文中的知识蒸馏基准实验
对比不同蒸馏策略在自有数据集上的效果
教学演示或入门知识蒸馏领域

替代项目

TextBrewer、Distiller (Intel)、MMRazor

项目介绍

torchdistill 是开发框架领域的开源项目，由 yoshitomo-matsubara 开发，2019 年首次发布。

在全站 13,148 个收录项目中，它的 GitHub 星标数（1,632）位列前 30%，在开发框架分类中处于中上游。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。开源免费，无付费版本。

它主要面向的使用场景是：快速复现论文中的知识蒸馏基准实验。同类可对比的替代方案包括 TextBrewer、Distiller (Intel)、MMRazor。

上一篇：cc-safety-net

下一篇：stop-that-shit