BEVT

用图像预训练加速视频 Transformer，省数据省算力

BEVT 是 CVPR 2022 论文《BEVT: BERT Pretraining of Video Transformers》的官方 PyTorch 实现。它主要解决视频理解中 Transformer 模型预训练数据稀缺、训练成本高的问题，提出将视频 Transformer 的预训练分解为空间（图像）和时间（视频）两个维度：先通过图像数据（如 ImageNet）预训练空间编码器，再在视频数据上仅预训练时间模块，从而大幅降低对大规模视频标注数据的依赖。核心能力包括：支持图像与视频联合预训练、可加载公开图像模型权重、提供视频分类等下游任务的微调代码。项目代码结构清晰，基于 PyTorch 和 torchvision，适合研究视频 Transformer 预训练方法的开发者使用。