VARAG

让 RAG 看懂图片,多模态问答更准确

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 48 🐛 待处理 4 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 501
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,完全免费。

项目预览

VARAG 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队adithya-s-k
定价模式🏷️完全免费
价格说明开源项目,本地部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型colpali,multimodal-retrieval,rag
GitHub 星标★ 501
上线时间2024-03-18 00:00:00
代码更新2025-07-23
仓库体积9.7 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

VARAG 是一个以视觉优先的检索增强生成(RAG)引擎,旨在解决传统 RAG 系统对纯文本的依赖,无法有效处理图像、图表、扫描文档等视觉信息的问题。它通过视觉增强的检索与生成流程,让 AI 应用能够直接理解和利用多模态数据。核心能力包括:视觉文档解析、图像内容索引、跨模态检索、以及结合视觉上下文的生成。项目使用 Python 实现,提供了灵活的 API 接口,便于集成到现有 AI 工作流中。目前处于早期阶段(501 星标),但架构设计清晰,适合作为多模态 RAG 应用的底层基础设施。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 501

技术标签

rag

使用教程

难度:高级 约 60 分钟 部署方式:本地GPU 5 步

环境要求

  • CUDA 显卡
  • Python 3.10
  • 模型权重

安装与启动步骤

  1. 1建环境

    它锁具体的 Python 小版本。

    conda create -n varag-venv python=3.10
  2. 2装核心包

    以可编辑方式装。

    pip install -e .
  3. 3需要识别就装附加项

    光学识别能力是可选依赖。

    pip install -e .["ocr"]
  4. 4跑演示界面

    带网页界面,能直接对比。

    python demo.py --share
  5. 5看热力图

    它能给检索命中位置出热力图。

    python examples/inference_colpali/demo_with_heatmaps.py

如何确认成功

对一张带文字信息的图片提问,检索命中区域在热力图里落在文字所在位置而不是整图

注意事项

  • 它把视觉信息直接纳入检索与生成,跳过了先做光学识别再检索的老路。
  • 热力图是判断检索是否真的看对地方的最好工具。
  • 光学识别作为可选补充,不是必需。
  • 显存需求比纯文本检索高得多。

核心亮点

  • 视觉优先设计,直接处理图像/PDF扫描件,弥补传统RAG纯文本短板
  • 检索与生成联合优化,视觉上下文参与生成,答案更贴合图像内容
  • API 简洁,Python 生态友好,易于嵌入现有 AI 应用

不足之处

  • 项目早期,文档和社区支持尚待完善
  • 对复杂图表/手写体的识别效果需实际验证

适用场景

  • 企业知识库中的图表/截图问答
  • 扫描版文档的智能检索与摘要
  • 多模态客服助手(用户发图提问)

替代项目

LlamaIndex、LangChain、Unstructured

上一篇:StreamRAG

下一篇:Advanced_RAG

同类项目推荐

awesome-papers 开源

按主题整理 AI 系统论文笔记,快速找到该读的文献

Here are my personal paper reading notes (including machine learning systems, AI inf···

★ 238 2026-09-28
AutoKG 开源

用大模型自动构建知识图谱,让机器读懂关系

[WWWJ 2024] LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities···

★ 471 2026-08-09
my-rag 开源

导入文档建知识库,自然语言问答带权限隔离

我的rag系统,可以用于导入知识库进行知识问答,可集成第三方mcp,也做了权限隔离等

★ 157 2026-10-25
morphic 开源

提问即得带来源的答案,自建 AI 搜索

An AI-powered search engine with a generative UI

★ 9309 2026-10-11
private-gpt 开源

本地文档接大模型,离线问答不泄密

Complete API layer for private AI applications on local models: RAG, skills, tools, ···

★ 57629 2026-10-02
StruInfo 开源

把文档变成可追溯、可编辑的知识图谱,数据自己掌控

Self-hosted, traceable document-to-knowledge workspace with deterministic workflows,···

★ 91 2026-10-09
anysearch-mcp-server 开源

一个接口搞定 AI 联网搜索与整页抓取

Unified real-time search MCP server supporting general web search, vertical domain s···

★ 2063 2026-10-11
CHRONOS 开源

让AI自动梳理新闻事件,按时间线生成摘要

Repo for NAACL 2025 Paper "Unfolding the Headline: Iterative Self-Questioning for Ne···

★ 297 2026-08-09
smart-llm-loader 开源

把任意文档变成 LLM 能吃的块,省下预处理时间,专注做应用。

smart-llm-loader is a lightweight yet powerful Python package that transforms any do···

★ 253 2026-08-09