PixelRAG

告别网页解析，直接搜图片像素，让截图和图表也能被精准检索问答。

PixelRAG 是一个面向像素级原生搜索的开源项目，旨在终结传统网页解析的繁琐流程。它解决的核心问题是：当信息以图像、图表、截图等视觉形式存在时，传统基于文本的 RAG（检索增强生成）系统无法有效索引和检索。PixelRAG 直接对图像像素进行理解和嵌入，构建可扩展的视觉语义索引，从而支持对图片内容的精准搜索与问答。其核心能力包括：像素级特征提取、多模态语义对齐、大规模视觉向量检索，以及与主流向量数据库和 LLM 的集成接口。项目采用 Python 编写，提供简洁的 API 和命令行工具，方便开发者快速构建视觉问答、文档图像检索等应用。它标志着搜索技术从文本解析向视觉原生理解的范式转变，特别适合处理扫描件、UI 截图、科学图表等非结构化视觉数据。

开源 unknown 搜索知识

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 10066

维护状态较活跃

是否开源是

定价模式 unknown

项目数据

分类搜索知识

开发团队StarTrail-org

所属国家

官网地址

GitHubhttps://github.com/StarTrail-org/PixelRAG

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent,ai,memory,multimodal,rag,search,searchengine,vision,vlm

GitHub 星标★ 10066

30天Star增速

HF 下载量

上线时间2026-05-29 00:00:00

最近更新2026-09-22 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：进阶约 15 分钟部署方式：命令行工具 7 步

环境要求

Python 环境（用于安装 pixelrag 及其 pdf 扩展）
处理 PDF 需安装 poppler，并安装 pip install 'pixelrag[pdf]'
本地构建向量索引需 Docker，用于运行 Qdrant 服务
可访问 https://api.pixelrag.ai 的网络（托管索引无需 API Key）

安装与启动步骤

1调用托管索引

README 提供的托管端点已内置 8.28M 维基百科页面索引，无需任何配置和 API Key 即可直接检索。

curl -X POST https://api.pixelrag.ai/search 
  -H "Content-Type: application/json" 
  -d '{"queries": [{"text": "What is the capital of France?"}], "n_docs": 5}'

2安装 pdf 扩展

按 README 提示安装 pdf 扩展，用于 PDF 转 tiles；同时需保证系统已装 poppler。
```
pip install 'pixelrag[pdf]'
```
3PDF 转 tiles

下载示例论文 PDF，再用 pixelshot 命令按 200 DPI 切成瓦片图片输出到 ./tiles 目录。
```
curl -sL -o paper.pdf https://arxiv.org/pdf/2503.09516
pixelshot paper.pdf -o ./tiles --dpi 200
```
4启动本地 Qdrant

本地构建 qdrant 后端索引前，需先启动 Qdrant 服务，默认监听 6333 端口。
```
docker run -p 6333:6333 qdrant/qdrant
```

5构建向量索引

用 embeddings 目录构建索引，指定 qdrant 后端、连接地址、集合名与量化配置。

pixelrag build-index --embeddings-dir ./embeddings --output-dir ./index 
    --backend qdrant --qdrant-url http://localhost:6333 --collection pixelrag 
    --qdrant-quantization-config ./quantization.json

6替换已有集合

如需重建，加上 --recreate 会替换已存在的集合及其配置，执行前请确认可覆盖。

pixelrag build-index --embeddings-dir ./embeddings --output-dir ./index 
    --backend qdrant --qdrant-url http://localhost:6333 --collection pixelrag --recreate

7浏览器或 Colab

也可直接在 pixelrag.ai 网页体验，或运行 README 中的 Colab quickstart notebook。

关键配置

配置项	必填	说明	示例
`queries[].text`	是	检索请求中的文本查询内容，也支持传图片做视觉搜索	`What is the capital of France?`
`n_docs`	否	返回的文档条数	`5`
`--backend`	是	build-index 使用的向量后端	`qdrant`
`--qdrant-url`	是	Qdrant 服务地址	`http://localhost:6333`
`--collection`	是	Qdrant 中的集合名称	`pixelrag`
`--qdrant-quantization-config`	否	量化配置文件路径	`./quantization.json`

如何确认成功

托管接口返回 JSON 检索结果即为可用；本地执行 build-index 后在 --output-dir 指定的目录生成索引文件即成功。

常见问题

Q：调用托管搜索需要 API Key 吗？

A：不需要。README 明确说明 https://api.pixelrag.ai 提供预建索引，无需 setup、无需 API Key。

Q：本地构建索引必须用 Docker 吗？

A：使用 --backend qdrant 时需要可用的 Qdrant 服务，README 给出的启动方式是 docker run -p 6333:6333 qdrant/qdrant。

Q：处理 PDF 报错缺少依赖怎么办？

A：README 说明 PDF → tiles 需要 poppler，并且要安装 pdf 扩展：pip install 'pixelrag[pdf]'。

Q：不想本地部署怎么快速体验？

A：直接访问 pixelrag.ai 网页，或运行 README 链接的 Colab quickstart notebook，它渲染页面并检索托管索引。

注意事项

托管端点 api.pixelrag.ai 内置 8.28M 维基百科页面索引，支持文本与图片两种查询
本地 Qdrant 示例端口为 6333，容器启动命令来自 README
--recreate 会替换已有集合及其配置，请谨慎使用
README 未给出 git clone、基础 pip install pixelrag 等安装命令，本教程只列出 README 中出现的命令

核心亮点

直接对像素建模，无需 OCR 或解析，避免文本提取信息丢失
提供可扩展的视觉向量索引，支持大规模图像检索
与主流向量数据库和 LLM 无缝集成，上手快

不足之处

视觉嵌入计算资源消耗大，对硬件要求较高
当前生态和文档仍在完善，社区支持待观察

适用场景

企业内部扫描文档和票据的智能检索与问答
UI/UX 设计稿和截图库的语义搜索
科研论文中图表数据的快速定位与信息提取

替代项目

ColPali、VLM2Vec、CLIP-based RAG

项目介绍

PixelRAG 是搜索知识领域的开源项目，由 StarTrail-org 开发，是 2026 年新上线的项目。

在全站 13,014 个收录项目中，它的 GitHub 星标数（10,066）位列前 5%，在搜索知识分类的 581 个项目里位列前 6%。

近 41 天，它的 GitHub 星标从 9,469 增加到 10,066，净增 597。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-22。

它主要面向的使用场景是：企业内部扫描文档和票据的智能检索与问答。同类可对比的替代方案包括 ColPali、VLM2Vec、CLIP-based RAG。

上一篇：LEANN

下一篇：paper-qa