vision-is-all-you-need

让AI直接看懂文档图表,搜索问答不再丢视觉信息

开源 🏷️定价信息待确认 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 52 🐛 待处理 1 👀 关注 10
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 403
维护状态 维护中
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

vision-is-all-you-need 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队Softlandia-Ltd
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型colpali,fastapi,modal,qdrant,rag,react,v-rag,vision-rag
GitHub 星标★ 403
上线时间2024-09-10 00:00:00
代码更新2026-09-10
仓库体积269 KB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数1

项目介绍

这是一个基于视觉检索增强生成(V-RAG)的端到端演示项目,核心思路是让AI系统能直接“看懂”文档中的图表、公式和排版,而不仅仅是提取文字。它通过ColPali视觉模型将文档页面编码为向量,存入Qdrant向量数据库,再用GPT-4o的视觉能力对查询结果进行多模态理解,最终生成带图文的回答。项目采用Serverless架构(Modal)部署后端,前端用React构建,整体技术栈现代且完整。它解决了传统RAG系统对非文本信息(如表格、截图、复杂排版)理解不足的问题,让搜索和问答能覆盖更丰富的视觉内容。适合作为学习多模态RAG架构和快速搭建视觉搜索原型的参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 403

技术标签

核心亮点

  • 采用ColPali视觉模型,能直接编码页面图像,避免OCR信息丢失
  • 完整演示了从文档解析、向量检索到多模态生成的V-RAG全流程
  • 基于Modal Serverless部署,无需管理基础设施,快速上手

不足之处

  • 依赖GPT-4o和Modal等商业服务,完全自托管成本较高
  • 文档/社区待观察,早期项目示例和最佳实践有限

适用场景

  • 企业知识库搜索,需检索含图表和排版的PDF文档
  • 学术论文问答,需理解公式和实验图表
  • 产品说明书或技术手册的智能客服

替代项目

ColPali、txtai、Haystack

上一篇:ai-sdk-preview-rag

下一篇:super-rag

同类项目推荐

edgequake 开源

用 Rust 把文档变成知识图谱,让 AI 检索更聪明

EdegQuake High-performance GraphRAG inspired from LightRag written in Rust; Transfo···

★ 2297 2026-08-09
document-chat-system 开源

上传文档,直接对话提问,AI秒回答案

Open-source document chat platform with semantic search, RAG (Retrieval Augmented Ge···

★ 149 2026-08-09
deepdive 开源

让 Claude Code 按 12 阶段流水线做可核验的深度调研

Deepdive skill for Claude Code — 12-phase research pipeline: plan-review gate, para···

★ 364 2026-09-12
OpenDeepWiki 开源

开源版DeepWiki,让团队文档秒变智能问答库

OpenDeepWiki is the open-source version of the DeepWiki project, aiming to provide a···

★ 3659 2026-08-09
elasticsearch-labs 开源

用 Elasticsearch 快速搭建 AI 搜索应用,看官方示例就够了

Notebooks & Example Apps for Search, Observability, and Security with Elasticsearch

★ 1140 2026-08-09
IncarnaMind 开源

拖入多个 PDF/TXT,立即用大模型对话提问,答案带出处。

From messy files to a checked report. A free, open-source desktop app for macOS, Win···

★ 856 2026-08-09
arag 开源

让大模型像专家一样多轮检索,搞定复杂多跳问答

A-RAG: Agentic Retrieval-Augmented Generation via Hierarchical Retrieval Interfaces.···

★ 365 2026-08-09
VectorDB-Plugin 开源

本地文件直接问,文档音视频秒变智能问答库

Program that lets you ask questions about your documents and audio or video files.

★ 371 2026-08-09