PixelRAG

告别网页解析，直接搜图片像素，让截图和图表也能被精准检索问答。

开源 🏷️定价信息待确认 ⏳ 访问状态待核验搜索知识 🍴 复刻 981 🐛 待处理 25 👀 关注 36

GitHub ↗

GitHub 星标 ★ 10864

维护状态活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

项目数据

分类搜索知识

开发团队StarTrail-org

GitHubhttps://github.com/StarTrail-org/PixelRAG

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态⏳ 访问状态待核验

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent,ai,memory,multimodal,rag,search,searchengine,vision,vlm

GitHub 星标★ 10864

上线时间2026-05-29 00:00:00

代码更新2026-11-05

仓库体积46.9 MB

本站数据更新2026-11-08

维护状态活跃

收录时间2026-08-09

浏览次数4

项目介绍

PixelRAG 是一个面向像素级原生搜索的开源项目，旨在终结传统网页解析的繁琐流程。它解决的核心问题是：当信息以图像、图表、截图等视觉形式存在时，传统基于文本的 RAG（检索增强生成）系统无法有效索引和检索。PixelRAG 直接对图像像素进行理解和嵌入，构建可扩展的视觉语义索引，从而支持对图片内容的精准搜索与问答。其核心能力包括：像素级特征提取、多模态语义对齐、大规模视觉向量检索，以及与主流向量数据库和 LLM 的集成接口。项目采用 Python 编写，提供简洁的 API 和命令行工具，方便开发者快速构建视觉问答、文档图像检索等应用。它标志着搜索技术从文本解析向视觉原生理解的范式转变，特别适合处理扫描件、UI 截图、科学图表等非结构化视觉数据。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 10864

技术标签

agent ai memory multimodal rag

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 15 分钟部署方式：命令行工具 7 步

环境要求

Python 环境（用于安装 pixelrag 及其 pdf 扩展）
处理 PDF 需安装 poppler，并安装 pip install 'pixelrag[pdf]'
本地构建向量索引需 Docker，用于运行 Qdrant 服务
可访问 https://api.pixelrag.ai 的网络（托管索引无需 API Key）

安装与启动步骤

1调用托管索引

README 提供的托管端点已内置 8.28M 维基百科页面索引，无需任何配置和 API Key 即可直接检索。

curl -X POST https://api.pixelrag.ai/search \
  -H "Content-Type: application/json" \
  -d '{"queries": [{"text": "What is the capital of France?"}], "n_docs": 5}'

2安装 pdf 扩展

按 README 提示安装 pdf 扩展，用于 PDF 转 tiles；同时需保证系统已装 poppler。
```
pip install 'pixelrag[pdf]'
```
3PDF 转 tiles

下载示例论文 PDF，再用 pixelshot 命令按 200 DPI 切成瓦片图片输出到 ./tiles 目录。
```
curl -sL -o paper.pdf https://arxiv.org/pdf/2503.09516
pixelshot paper.pdf -o ./tiles --dpi 200
```
4启动本地 Qdrant

本地构建 qdrant 后端索引前，需先启动 Qdrant 服务，默认监听 6333 端口。
```
docker run -p 6333:6333 qdrant/qdrant
```

5构建向量索引

用 embeddings 目录构建索引，指定 qdrant 后端、连接地址、集合名与量化配置。

pixelrag build-index --embeddings-dir ./embeddings --output-dir ./index \
    --backend qdrant --qdrant-url http://localhost:6333 --collection pixelrag \
    --qdrant-quantization-config ./quantization.json

6替换已有集合

如需重建，加上 --recreate 会替换已存在的集合及其配置，执行前请确认可覆盖。

pixelrag build-index --embeddings-dir ./embeddings --output-dir ./index \
    --backend qdrant --qdrant-url http://localhost:6333 --collection pixelrag --recreate

7浏览器或 Colab

也可直接在 pixelrag.ai 网页体验，或运行 README 中的 Colab quickstart notebook。

关键配置

配置项	必填	说明	示例
`queries[].text`	是	检索请求中的文本查询内容，也支持传图片做视觉搜索	`What is the capital of France?`
`n_docs`	否	返回的文档条数	`5`
`--backend`	是	build-index 使用的向量后端	`qdrant`
`--qdrant-url`	是	Qdrant 服务地址	`http://localhost:6333`
`--collection`	是	Qdrant 中的集合名称	`pixelrag`
`--qdrant-quantization-config`	否	量化配置文件路径	`./quantization.json`