FasterViT

让视觉 Transformer 又快又准，高分辨率图像处理利器

FasterViT 是一个面向视觉任务的高效 Transformer 模型，由 NVIDIA 研究人员开发，相关论文发表于 ICLR 2024。它旨在解决传统 Vision Transformer（ViT）在图像分类、目标检测等任务中计算复杂度高、推理速度慢的问题。FasterViT 的核心创新是引入了分层注意力（Hierarchical Attention）机制，通过将图像划分为多个区域，在局部窗口内计算注意力，同时利用跨窗口的全局信息交互，从而在保持全局建模能力的同时大幅降低计算量。该模型在 ImageNet 分类、COCO 检测等基准上实现了精度与吞吐量的最佳平衡，尤其在高分辨率图像处理场景下优势明显。项目提供了完整的 PyTorch 官方实现，包括模型定义、训练脚本和预训练权重，支持多种模型变体（如 FasterViT-0/1/2 等），方便研究者和工程师直接使用或微调。