FasterViT

让视觉 Transformer 又快又准,高分辨率图像处理利器

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 72 🐛 待处理 4 👀 关注 14
GitHub ↗
GitHub 星标 ★ 928
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,基于PyTorch实现,可自行部署使用,完全免费。

项目预览

FasterViT 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队NVlabs
定价模式🏷️完全免费
价格说明开源模型,基于PyTorch实现,可自行部署使用,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型ade20k,backbone,coco,deep-learning,foundation-models,image-classification,image-net,object-detection,pre-trained-model,self-attention,semantic-segmentation,vision-transformer,visual-recognition
GitHub 星标★ 928
上线时间2023-05-19 00:00:00
代码更新2025-07-22
仓库体积1.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

FasterViT 是一个面向视觉任务的高效 Transformer 模型,由 NVIDIA 研究人员开发,相关论文发表于 ICLR 2024。它旨在解决传统 Vision Transformer(ViT)在图像分类、目标检测等任务中计算复杂度高、推理速度慢的问题。FasterViT 的核心创新是引入了分层注意力(Hierarchical Attention)机制,通过将图像划分为多个区域,在局部窗口内计算注意力,同时利用跨窗口的全局信息交互,从而在保持全局建模能力的同时大幅降低计算量。该模型在 ImageNet 分类、COCO 检测等基准上实现了精度与吞吐量的最佳平衡,尤其在高分辨率图像处理场景下优势明显。项目提供了完整的 PyTorch 官方实现,包括模型定义、训练脚本和预训练权重,支持多种模型变体(如 FasterViT-0/1/2 等),方便研究者和工程师直接使用或微调。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 928

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地 GPU 4 步

环境要求

  • PyTorch 2.x + CUDA
  • ImageNet 或自建验证集

安装与启动步骤

  1. 1装包

    官方发布了 pip 包,装完即可 import fastervit 拿到模型构造函数;也可以从源码装。

    pip install fastervit
  2. 2装训练/评测依赖

    validate.py 依赖 timm、torch 等,按 requirements 一次装齐。

    pip install -r requirements.txt
  3. 3拉预训练权重

    各尺寸模型权重在 release 里,按论文表格选 0/1/2/3/5 档,放好路径再评测。

  4. 4跑一次验证

    validate 脚本指定数据集目录与模型名,先在小验证集上跑通再扩到全量。

    python validate.py --model faster_vit_0_224 --data-dir /path/to/imagenet/val

如何确认成功

脚本输出 top-1/top-5 精度,数值与论文同档模型一致。

注意事项

  • 显存不足时调小 batch size,或换更小的 faster_vit_0_224。

核心亮点

  • 分层注意力机制显著降低计算复杂度,高分辨率下推理速度远超传统 ViT
  • 在 ImageNet 和 COCO 上达到 SOTA 精度-吞吐量平衡,实际部署价值高
  • 官方提供完整训练代码和预训练权重,开箱即用,易于复现

不足之处

  • 模型结构较复杂,自定义修改门槛较高
  • 文档/社区待观察

适用场景

  • 高分辨率图像分类与识别
  • 目标检测与实例分割任务
  • 边缘设备或实时视觉应用

替代项目

Swin Transformer、CvT、PVT

上一篇:groundingLMM

下一篇:Awesome-Robotics-3D

同类项目推荐

SDMatte 开源

点几下鼠标,扩散模型帮你生成精准抠图

Official code for our ICCV2025 paper "SDMatte: Grafting Diffusion Models for Interac···

★ 206 2026-08-09
PaddleOCR-ncnn-CPP 开源

用 ncnn 跑 PaddleOCR 的纯 C++ 离线文字识别方案

C++ implementations of PP-OCRv3/4/5/6 using ncnn for inference.

★ 111 2026-11-08
obsidian-text-extractor 开源

图片PDF一键变可搜索文字,笔记整理效率翻倍

A (companion) plugin to facilitate the extraction of text from images (OCR) and PDFs···

★ 651 2026-09-19
scene-language 开源

用程序+文字+嵌入,一句话生成可编辑的3D场景

(CVPR 2025 Highlight) The Scene Language: Representing Scenes with Programs, Words, ···

★ 273 2026-08-09
amodal 开源

看穿遮挡,AI补全物体被遮住的完整模样

Official code for "Amodal Completion via Progressive Mixed Context Diffusion" [CVPR ···

★ 56 2026-08-09
GC-VLN 开源

不训练模型,用图约束让机器人听懂指令找路

[CoRL 2025] GC-VLN: Instruction as Graph Constraints for Training-free Vision-and-La···

★ 86 2026-08-09
GSFixer 开源

用视频扩散先验修复3D重建,让渲染更真实

[ICML 2026] GSFixer: Improving 3D Gaussian Splatting with Reference-Guided Video Dif···

★ 205 2026-08-09
frigate-hass-integration 开源

把 Frigate AI 监控无缝接入 Home Assistant,实时看事件、玩自动化

Frigate integration for Home Assistant

★ 1301 2026-09-01
ArtEq 开源

让AI看懂没见过的姿势,人体重建更稳更准

Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3) Equivarianc···

★ 57 2026-08-09