VisualRWKV

让 RWKV 看懂图片,多模态推理更高效

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 19 🐛 待处理 10 👀 关注 6
GitHub ↗
GitHub 星标 ★ 247
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,Apache-2.0许可证,可免费使用和部署。

项目预览

VisualRWKV 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队howard-hou
定价模式🏷️完全免费
价格说明开源模型,Apache-2.0许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型large-language-models,multi-modal,rwkv
GitHub 星标★ 247
上线时间2023-06-15 00:00:00
代码更新2026-01-13
仓库体积14.5 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

VisualRWKV 是 RWKV 语言模型的视觉增强版本,旨在让 RWKV 架构原生支持图像理解与多模态任务。它解决了传统 RWKV 模型仅处理文本、无法感知视觉信息的问题,通过引入视觉编码器与跨模态对齐机制,使模型能够同时处理图像和文本输入。核心能力包括图像描述、视觉问答、图文检索等,并保持了 RWKV 线性注意力机制的高效推理特性。项目基于 Python 实现,支持自定义视觉任务微调,为多模态 AI 研究提供了一个轻量级、可扩展的基线方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 247

核心亮点

  • 原生融合 RWKV 线性注意力,推理速度优于传统 Transformer 多模态模型
  • 架构简洁,基于 Python 实现,易于二次开发和定制视觉任务
  • 早期项目但设计清晰,为 RWKV 生态补齐视觉能力

不足之处

  • 文档/社区待观察
  • 功能尚不完善,视觉任务覆盖有限

适用场景

  • 边缘设备上的轻量级视觉问答
  • 多模态对话系统中的图像理解模块
  • 学术研究:探索非 Transformer 架构的多模态能力

替代项目

LLaVA、MiniGPT-4、Qwen-VL

上一篇:MiniMax-M2.1

下一篇:Show-o

同类项目推荐

VLM3 开源

让视觉语言模型直接看懂3D世界,无需额外编码器

[NeurIPS 2026] Official implementation of paper "VLM³: Vision Language Models Are N···

★ 441 2026-08-09
i1 开源

开源配方,简单复现高质量文生图模型

Code release for "i1: A Simple and Fully Open Recipe for Strong Text-to-Image Models···

★ 295 2026-08-09
awesome-snn 开源

找SNN开源项目,看这个清单就够了

A collection of some awesome public SNN(Spiking Neural Network) projects.

★ 241 2026-08-09
hyena-dna 开源

百万级DNA序列直接建模,解锁基因组长程调控密码

Official implementation for HyenaDNA, a long-range genomic foundation model built wi···

★ 808 2026-08-09
Emu 开源

一个模型搞定图像视频生成与理解,智源出品

Emu Series: Generative Multimodal Models from BAAI

★ 1776 2026-08-09
llm.pdf 开源

打开 PDF 就能和 AI 聊天,不用装任何环境

Run LLMs inside a PDF file.

★ 878 2026-09-22
Awesome-Foundation-Models 开源

一站式查找视觉语言基础模型,省时省力。

A curated list of foundation models for vision and language tasks

★ 1177 2026-08-09
magicoder 开源

用开源代码自动合成指令数据,低成本训练出更强代码模型

[ICML'24] Magicoder: Empowering Code Generation with OSS-Instruct

★ 2097 2026-08-09