
MambaVision
混合Mamba与Transformer,让视觉模型在高分辨率下又快又准
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2252
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境(README 未指定具体版本)
- 已安装较新版本的 PyTorch(README 明确以此为前提)
- 可用的 pip 包管理环境
- 可选:Docker(仓库提供了 Dockerfile)
安装与启动步骤
-
1获取项目代码
从 GitHub 克隆官方仓库并进入项目目录,后续所有命令都在该目录下执行。
git clone https://github.com/NVlabs/MambaVision.git cd MambaVision -
2安装 PyTorch
README 假定环境已装好较新的 PyTorch;请按 pytorch.org 的官方指引选择匹配自己 CUDA 版本的安装命令,README 未指定版本号。
-
3安装项目依赖
在已装好 PyTorch 的前提下,执行 README 给出的命令安装 requirements.txt 中的依赖。建议在虚拟环境中进行。
pip install -r requirements.txt -
4用 Docker 构建
可选方案:仓库根目录提供了 Dockerfile,如需容器化运行可自行构建镜像;README 未给出具体构建参数。
docker build -t mambavision . -
5快速试用
README 提供官方 Colab Notebook,不想本地配置环境时可直接打开链接在线体验。
如何确认成功
README 未给出验证命令;依赖安装无报错且能正常导入 MambaVision 模块即视为环境就绪。
常见问题
Q:PyTorch 要装哪个版本?
A:README 只说明需安装较新的 PyTorch,并未锁定版本。请前往 pytorch.org 的安装引导页,按自己的操作系统与 CUDA 版本选择对应命令安装。
Q:Docker 和 pip 两种方式怎么选?
A:仓库同时提供 Dockerfile 和 requirements.txt。已有 PyTorch 环境时直接 pip 安装依赖最省事;希望环境隔离则用 Dockerfile 自行构建镜像。
Q:不想本地安装环境怎么办?
A:README 顶部提供了官方的 Google Colab 链接,可以直接在浏览器中打开运行,无需本地配置。
Q:依赖安装失败怎么办?
A:先确认 PyTorch 已正确安装并可正常导入,再执行 pip install -r requirements.txt;建议使用独立的虚拟环境避免版本冲突。
注意事项
- README 未提供版本号、端口、权重下载路径等细节,本文只覆盖其明确写出的安装方式。
- 安装前务必先自行准备好 PyTorch,这是 README 的明确前提。
- 仓库根目录提供 Dockerfile,可用于容器化部署。
- 商用授权需通过 NVIDIA Research Licensing 页面提交表单咨询。
核心亮点
- 在ImageNet-1K上,MambaVision-B达到85.3% top-1精度,比同规模ViT快3倍
- 支持2D扫描策略,有效捕获全局上下文,解决Mamba在视觉任务中的方向敏感问题
- 提供T/S/B/L四种模型,并附带预训练权重,可直接替换自注意力层集成到现有框架
不足之处
- 模型参数量和计算量仍较大,在资源受限设备上部署有挑战
- 文档和社区支持相对有限,生态不如成熟Transformer库丰富
适用场景
- 高分辨率图像分类任务,如医学影像、卫星图像分析
- 实时目标检测和语义分割,需要高吞吐量的视觉应用
- 作为视觉骨干网络,替换现有ViT或Swin Transformer以提升效率
替代项目
Vision Mamba (Vim)、VMamba、Swin Transformer
上一篇:EVA
下一篇:torchxrayvision
同类项目推荐
DTrOCR
开源
用纯解码器 Transformer 直接生成文字,简化 OCR 识别流程
A PyTorch implementation of DTrOCR: Decoder-only Transformer for Optical Character R···
Looking-Back-OCR
开源
用 AI 把越南语古籍旧书扫描件转成可编辑文字
Công cụ OCR tài liệu, sách xưa tiếng Việt bằng Gemini hoặc Meta AI.
SeGAN
开源
用GAN补全遮挡区域,让图像分割与生成一步到位
SeGAN: Segmenting and Generating the Invisible (https://arxiv.org/pdf/1703.10239.pdf···
depth_any_camera
开源
任意相机秒出深度图,零样本适配鱼眼全景
[CVPR 2025] Depth Any Camera: Zero-Shot Metric Depth Estimation from Any Camera
emgucv
开源
用 C# 直接调用 OpenCV,跨平台做图像处理与识别
Emgu CV is a cross platform .Net wrapper to the OpenCV image processing library.
OXR
开源
开源文档解析模型,准又快,扫描件直接变结构化文本
An open-source document parsing model with SOTA accuracy and speed, using an RSI loo···
Robust-R1
开源
让视觉模型在模糊、低光等恶劣图像下也能准确推理
[AAAI 2026 Oral] Official Implementation of Robust-R1: Degradation-Aware Reasoning f···
nnDetection
开源
医学3D检测免调参,换数据集直接跑
nnDetection is a self-configuring framework for 3D (volumetric) medical object detec···
obsidian-ocr
开源
让 Obsidian 搜索穿透图片和 PDF,截图文字也能搜到
Obsidian OCR allows you to search for text in your images and pdfs