MultiModalMamba

ViT 加 Mamba 融合，多模态推理又快又省显存

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 475

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类开源模型

开发团队kyegomez

所属国家

官网地址

GitHubhttps://github.com/kyegomez/MultiModalMamba

定价模式free

价格说明开源免费，采用开源许可证

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ai,artificial-intelligence,attention-mechanism,machine-learning,mamba,ml,pytorch,ssm,torch,transformer-architecture,transformers,zeta

GitHub 星标★ 475

30天Star增速

HF 下载量

上线时间2024-01-04 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-18

浏览次数0

项目介绍

MultiModalMamba 是一个将视觉 Transformer（ViT）与 Mamba 状态空间模型融合的多模态开源模型实现，目标是构建一个快速、轻量且高性能的多模态模型。它解决的问题是：传统 Transformer 在多模态任务中注意力计算复杂度随序列长度平方增长，导致推理慢、显存占用高；而 Mamba 的线性复杂度能显著降低长序列处理成本。项目核心能力包括：用 ViT 提取图像 patch 特征，再通过 Mamba 层进行高效序列建模，支持图文等多模态输入融合；同时项目基于作者自研的 Zeta 框架，号称是“最简单的 AI 框架”，降低了模型搭建与实验门槛。代码为 Python/PyTorch 实现，适合研究者快速复现和二次开发，探索 SSM 在多模态场景下的潜力。