项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 501
技术标签
使用教程
环境要求
- CUDA 显卡
- Python 3.10
- 模型权重
安装与启动步骤
-
1建环境
它锁具体的 Python 小版本。
conda create -n varag-venv python=3.10 -
2装核心包
以可编辑方式装。
pip install -e . -
3需要识别就装附加项
光学识别能力是可选依赖。
pip install -e .["ocr"] -
4跑演示界面
带网页界面,能直接对比。
python demo.py --share -
5看热力图
它能给检索命中位置出热力图。
python examples/inference_colpali/demo_with_heatmaps.py
如何确认成功
对一张带文字信息的图片提问,检索命中区域在热力图里落在文字所在位置而不是整图
注意事项
- 它把视觉信息直接纳入检索与生成,跳过了先做光学识别再检索的老路。
- 热力图是判断检索是否真的看对地方的最好工具。
- 光学识别作为可选补充,不是必需。
- 显存需求比纯文本检索高得多。
核心亮点
- 视觉优先设计,直接处理图像/PDF扫描件,弥补传统RAG纯文本短板
- 检索与生成联合优化,视觉上下文参与生成,答案更贴合图像内容
- API 简洁,Python 生态友好,易于嵌入现有 AI 应用
不足之处
- 项目早期,文档和社区支持尚待完善
- 对复杂图表/手写体的识别效果需实际验证
适用场景
- 企业知识库中的图表/截图问答
- 扫描版文档的智能检索与摘要
- 多模态客服助手(用户发图提问)
替代项目
LlamaIndex、LangChain、Unstructured
上一篇:StreamRAG
下一篇:Advanced_RAG
同类项目推荐
awesome-papers
开源
按主题整理 AI 系统论文笔记,快速找到该读的文献
Here are my personal paper reading notes (including machine learning systems, AI inf···
AutoKG
开源
用大模型自动构建知识图谱,让机器读懂关系
[WWWJ 2024] LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities···
my-rag
开源
导入文档建知识库,自然语言问答带权限隔离
我的rag系统,可以用于导入知识库进行知识问答,可集成第三方mcp,也做了权限隔离等
morphic
开源
提问即得带来源的答案,自建 AI 搜索
An AI-powered search engine with a generative UI
private-gpt
开源
本地文档接大模型,离线问答不泄密
Complete API layer for private AI applications on local models: RAG, skills, tools, ···
StruInfo
开源
把文档变成可追溯、可编辑的知识图谱,数据自己掌控
Self-hosted, traceable document-to-knowledge workspace with deterministic workflows,···
anysearch-mcp-server
开源
一个接口搞定 AI 联网搜索与整页抓取
Unified real-time search MCP server supporting general web search, vertical domain s···
CHRONOS
开源
让AI自动梳理新闻事件,按时间线生成摘要
Repo for NAACL 2025 Paper "Unfolding the Headline: Iterative Self-Questioning for Ne···
smart-llm-loader
开源
把任意文档变成 LLM 能吃的块,省下预处理时间,专注做应用。
smart-llm-loader is a lightweight yet powerful Python package that transforms any do···
