torchdistill

免写代码，配置即复现顶会知识蒸馏实验

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开发框架 🍴 复刻 144 👀 关注 17

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1636

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，无付费版本

项目预览

torchdistill 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开发框架

开发团队yoshitomo-matsubara

官网地址https://yoshitomo-matsubara.net/torchdistill

GitHubhttps://github.com/yoshitomo-matsubara/torchdistill

定价模式🏷️完全免费

价格说明开源免费，无付费版本

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型amazon-sagemaker-lab,causal-language-modeling,cifar10,cifar100,coco,colab-notebook,glue,google-colab,image-classification,imagenet,knowledge-distillation,natural-language-processing,nlp,object-detection,pascal-voc,pytorch,pytorch-ecosystem,semantic-segmentation,text-classification,transformer

GitHub 星标★ 1636

上线时间2019-12-18 00:00:00

代码更新2026-11-11

仓库体积11.2 MB

本站数据更新2026-11-11

维护状态活跃

收录时间2026-08-13

浏览次数7

项目介绍

torchdistill 是一个基于 PyTorch 的免编码深度学习框架，专注于知识蒸馏（Knowledge Distillation）研究。它解决了知识蒸馏实验复现难、实现繁琐的问题，提供了声明式配置和模块化设计，用户无需编写训练代码即可复现或设计蒸馏实验。框架已实现 26 种发表于 TPAMI、CVPR、ICLR 等顶会的蒸馏方法，涵盖分类、目标检测、语义分割等任务，并支持 CIFAR、ImageNet、COCO 等数据集。核心能力包括：灵活的蒸馏配置、自动日志记录、模型与日志的公开基准，以及可扩展的 API 接口。通过 YAML 配置文件定义教师/学生模型、蒸馏损失、优化器等，大幅降低实验门槛，适合快速验证新想法和对比不同蒸馏策略。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-13 · 当前星标 ★ 1636

技术标签

colab-notebook google-colab image-classification imagenet knowledge-distillation

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 10 分钟部署方式：库/依赖 5 步

环境要求

Python >= 3.9（README 明确要求）
pip / pip3 包管理工具
pipenv（可选，README 标注为 optional）
能访问 PyPI 或 GitHub 的网络环境

安装与启动步骤

1检查 Python 版本

torchdistill 要求 Python 3.9 及以上，版本过低会导致安装失败，先确认版本再继续。
```
python3 --version
```
2用 pip 安装

README 推荐的最简安装方式，直接从 PyPI 安装 torchdistill，适合大多数用户。
```
pip3 install torchdistill
```
3或从源码安装

README 标注此方式为 not recommended，仅建议需要改源码时使用；装完可在 configs/sample/ 看示例配置。
```
git clone https://github.com/yoshitomo-matsubara/torchdistill.git
cd torchdistill/
pip3 install -e .
```
4验证安装成功

导入包确认安装无误，若报 ModuleNotFoundError 说明安装环境与当前解释器不一致。
```
python3 -c "import torchdistill"
```
5跑通一个前向示例

按 README 示例用随机张量构造输入并调用模型前向，验证 torch 与 torchdistill 环境可用。
```
import torch
x = torch.rand(32, 3, 224, 224)
y = model(x)
```