VisualRWKV

让 RWKV 看懂图片，多模态推理更高效

VisualRWKV 是 RWKV 语言模型的视觉增强版本，旨在让 RWKV 架构原生支持图像理解与多模态任务。它解决了传统 RWKV 模型仅处理文本、无法感知视觉信息的问题，通过引入视觉编码器与跨模态对齐机制，使模型能够同时处理图像和文本输入。核心能力包括图像描述、视觉问答、图文检索等，并保持了 RWKV 线性注意力机制的高效推理特性。项目基于 Python 实现，支持自定义视觉任务微调，为多模态 AI 研究提供了一个轻量级、可扩展的基线方案。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 246
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队howard-hou
所属国家
官网地址
GitHubhttps://github.com/howard-hou/VisualRWKV
定价模式free
价格说明开源模型，Apache-2.0许可证，可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型large-language-models,multi-modal,rwkv
GitHub 星标★ 246
30天Star增速
HF 下载量
上线时间2023-06-15 00:00:00
最近更新2026-09-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

使用教程

核心亮点

  • 原生融合 RWKV 线性注意力，推理速度优于传统 Transformer 多模态模型
  • 架构简洁，基于 Python 实现，易于二次开发和定制视觉任务
  • 早期项目但设计清晰，为 RWKV 生态补齐视觉能力

不足之处

  • 文档/社区待观察
  • 功能尚不完善，视觉任务覆盖有限

适用场景

  • 边缘设备上的轻量级视觉问答
  • 多模态对话系统中的图像理解模块
  • 学术研究：探索非 Transformer 架构的多模态能力

替代项目

LLaVA、MiniGPT-4、Qwen-VL

项目介绍

VisualRWKV 是开源模型领域的开源项目，由 howard-hou 开发，2023 年首次发布。

它收录于开源模型分类，该分类目前共有 424 个项目，GitHub 星标数为 246。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。Apache-2.0许可证，可免费使用和部署。

它主要面向的使用场景是：边缘设备上的轻量级视觉问答。同类可对比的替代方案包括 LLaVA、MiniGPT-4、Qwen-VL。

上一篇：MiniMax-M2.1

下一篇：Show-o

同类项目推荐

Machine-Learning 开源

跟着博客笔记，边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
CoreML-Models 开源

下载即用的苹果端 AI 模型库，免去转换烦恼

Core ML model zoo for iOS/macOS — PyTorch models converted to ready-to-use .mlpacka···

★ 1873 2026-08-10