thepipe

用视觉大模型，把复杂文档秒变干净数据

thepipe 是一个基于视觉语言模型（VLM）的文档数据清洗工具，专门解决从复杂文档（如扫描件、PDF、PPT、表格、手写笔记等）中提取干净结构化数据的问题。它利用视觉语言模型理解文档的版面、图像和文本，能够自动识别并抽取关键信息，去除噪声，输出适合下游任务（如RAG、模型微调）的高质量数据。核心能力包括：支持多种文档格式、自动OCR与版面分析、基于VLM的语义理解、可编程API与命令行接口，以及与其他数据处理流程的无缝集成。它旨在替代传统基于规则的解析方式，降低非结构化数据处理的复杂度，提升数据准备效率。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1527

维护状态较活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队emcf

所属国家

官网地址https://thepi.pe

GitHubhttps://github.com/emcf/thepipe

定价模式free

价格说明开源项目，MIT许可证，可免费使用，无在线服务或付费版本。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型document-ai,large-language-models,microsoft-word,multimodal,pdf,powerpoint,python,scanned-pdf,scrapers,scraping,unstructured-data,vision-language-model

GitHub 星标★ 1527

30天Star增速

HF 下载量

上线时间2024-03-22 00:00:00

最近更新2026-09-22 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

难度：入门约 5 分钟部署方式：命令行工具 4 步

环境要求

Python 环境（README 未指定具体版本）
OpenAI API Key，或其他兼容 OpenAI 接口的 VLM 服务密钥
可选：GPU 相关依赖（PyTorch、Triton）为可选 extras，按需自行安装
可选：Whisper、Sentence Transformers、LlamaIndex 等额外依赖用于扩展功能

安装与启动步骤

1安装 thepipe

README 给出的唯一安装命令。默认只拉取 CPU 友好的依赖，适合受限环境和 CI 系统，GPU 库需另装。
```
pip install thepipe-api
```
2配置 VLM 后端

默认使用 OpenAI API，需传入 OpenAI 客户端即可开箱可用；也可改接 OpenRouter 或本地 OpenLLM 等兼容 OpenAI 接口的服务。
3用 CLI 提取数据

README 给出的命令行用法为 thepipe [options]，把源替换为你的文档路径或来源即可抽取 markdown、表格与图片。
```
thepipe /your/path/document.pdf
```
4运行测试套件

在仓库目录先装基础依赖再跑测试；依赖可选 extras 或 OpenAI API Key 的用例会自动跳过。
```
pip install -r requirements.txt
python -m unittest discover
```

关键配置

配置项	必填	说明	示例
`model`	否	指定使用的视觉语言模型名称，默认 gpt-4o	`gpt-4o`
`base_url`	否	自定义 VLM 服务的接口地址，默认走 OpenAI	`https://openrouter.ai/api/v1`
`api_key`	是	OpenAI 或第三方服务商的密钥，需传入 OpenAI 客户端	`sk-xxxxxxxx`

如何确认成功

运行 thepipe 后能输出干净的 markdown、表格或图片即成功；跑测试套件无失败用例也可佐证。

常见问题

Q：不想用 OpenAI，能换别的模型服务吗？

A：可以。传入自定义 OpenAI 客户端即可：OpenRouter 把 base url 设为 https://openrouter.ai/api/v1，本地 OpenLLM 设为 http://localhost:3000/v1，并把对应服务商的 API Key 传进客户端。

Q：默认用的是哪个模型？

A：默认模型为 gpt-4o，可通过 model 参数改成其他模型名称。

Q：安装体积太大、依赖太重怎么办？

A：默认安装只包含 CPU 友好依赖，PyTorch、Triton 等 GPU 库是可选的 extras，只在需要时才安装。

Q：测试为什么有些被跳过了？

A：依赖 Whisper、Sentence Transformers、LlamaIndex 等可选 extras，或需要 OpenAI API Key 的测试，在对应依赖不可用时会自动跳过。

注意事项

README 只给出 CLI 用法概要 `thepipe [options]`，具体可选参数请以官网 https://thepi.pe 或项目文档为准。
README 未列出环境变量的具体名称，配置 API Key 时请以项目文档为准。
默认安装面向 CPU 环境，显存相关依赖（PyTorch、Triton）需作为可选 extras 单独安装。
提取过程依赖 VLM，因此必须提供可用的模型服务密钥，否则相关功能无法工作。

核心亮点

支持PDF、PPT、扫描件等复杂格式，无需手动预处理
利用VLM理解版面语义，提取准确率高于传统OCR
提供Python API和CLI，易于集成到现有数据流水线

不足之处

依赖视觉语言模型推理，处理速度可能较慢
对硬件资源有一定要求（需GPU或高性能CPU）
文档/社区待观察

适用场景

构建RAG系统时清洗PDF/扫描文档
从PPT/表格中提取结构化数据用于分析
微调大模型前准备高质量训练数据

替代项目

LlamaParse、Unstructured、Docling

项目介绍

thepipe 是基础设施领域的开源项目，由 emcf 开发，2024 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（1,527）位列前 30%，在基础设施分类中处于中上游。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-22。MIT许可证，可免费使用，无在线服务或付费版本。

它主要面向的使用场景是：构建RAG系统时清洗PDF/扫描文档。同类可对比的替代方案包括 LlamaParse、Unstructured、Docling。

上一篇：ServerlessLLM

下一篇：surprisal