VisRAG

不解析文档，直接看图检索，提升 RAG 准确率

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 搜索知识 🍴 复刻 80 🐛 待处理 1 👀 关注 11
GitHub ↗
GitHub 星标 ★ 988
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，可免费使用和部署。

项目预览

VisRAG 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队OpenBMB
GitHubhttps://github.com/OpenBMB/VisRAG
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型document-retrieval,document-understanding,multi-modal,multi-modality,rag,retrieval,retrieval-augmented-generation,vision-language-model
GitHub 星标★ 988
上线时间2024-10-14 00:00:00
代码更新2026-11-02
仓库体积19.7 MB
本站数据更新2026-11-07
维护状态活跃
收录时间2026-08-09
浏览次数2

项目介绍

VisRAG 是一个基于视觉语言模型（VLM）的解析免检索增强生成（RAG）框架。传统 RAG 依赖文本解析（如 PDF 转文本），而 VisRAG 直接将文档页面渲染为图像，利用 VLM 同时理解视觉和文本信息，避免了解析过程中的信息丢失。它解决了解析复杂文档（如表格、图表、多栏排版）时准确率低的问题，核心能力包括文档图像嵌入、基于视觉的检索和生成。项目提供训练和推理代码，支持自定义模型，旨在提升 RAG 在真实文档上的鲁棒性和性能。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 988

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶 约 30 分钟 部署方式：本地 (Python) 5 步

安装与启动步骤

  1. 1环境准备

    Python 3.8+，建议使用 conda 或 venv 创建独立环境。

  2. 2克隆仓库

    git clone https://github.com/OpenBMB/VisRAG.git 并进入目录。

  3. 3安装依赖

    pip install -r requirements.txt 安装 Python 依赖。

  4. 4配置模型

    根据 README 配置支持多模态的 VLM 与嵌入模型 API 密钥。

  5. 5运行索引与检索

    使用提供脚本对文档图像建立向量索引，随后用多图问题进行检索增强生成。

核心亮点

  • 免解析流程，避免 PDF 转文本时的信息丢失，尤其适合复杂排版
  • 利用 VLM 统一视觉和文本语义，检索相关性更高
  • 提供完整训练和推理代码，便于复现和二次开发

不足之处

  • 依赖 VLM 推理，计算资源消耗大，部署成本高
  • 文档/社区待观察，早期项目示例和生态尚不完善

适用场景

  • 学术论文、技术文档等复杂 PDF 的知识库问答
  • 扫描件、图片型文档的检索增强生成
  • 需要高保真理解表格、图表的垂直领域 RAG 应用

替代项目

LlamaIndex、LangChain、Unstructured

上一篇：GraphRAG-SDK

下一篇：vectordb-recipes

同类项目推荐

ApeRAG 开源

把知识图谱塞进 RAG，多跳问答和复杂检索一次搞定

ApeRAG: Production-ready GraphRAG with multi-modal indexing, AI agents, MCP support,···

★ 1318 2026-10-02
pdfstract 开源

把 PDF 变成可检索的向量，RAG 预处理一步到位。

PDFStract - Extract, Chunking and Embedding Layer in Your RAG Pipeline - Available a···

★ 156 2026-08-09
Ataru 开源

把本地代理历史变成秒级可搜的记忆库

High-performance AI memory retrieval for local agent history — a Rust search core (···

★ 361 2026-09-12
dropbox-ai-chat 开源

用自然语言问 Dropbox，秒回文件里的答案

AI-powered Dropbox search tool for private documents

★ 168 2026-08-09
SimGRAG 开源

用相似子图检索，让知识图谱问答更准更直接

Official code of the ACL 2025 paper "SimGRAG: Leveraging Similar Subgraphs for Knowl···

★ 142 2026-08-09
rag_api 开源

基于 ID 的 RAG 服务，用 FastAPI + pgvector 快速搭建生产级检索增强生成 API。

ID-based RAG FastAPI: Integration with Langchain and PostgreSQL/pgvector

★ 922 2026-08-09
xMemory 开源

把智能体记忆拆开再拼，检索更准更省上下文

[NeurIPS 2026] Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation

★ 123 2026-10-25
LogicRAG 开源

给RAG装上逻辑引擎，让复杂推理更准更可解释

Source code of LogicRAG at AAAI'26.

★ 241 2026-08-09