thepipe

用视觉大模型，把复杂文档秒变干净数据

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 100 🐛 待处理 16 👀 关注 13

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1529

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，可免费使用，无在线服务或付费版本。

项目预览

项目数据

分类开源模型

开发团队emcf

官网地址https://thepi.pe

GitHubhttps://github.com/emcf/thepipe

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，可免费使用，无在线服务或付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型document-ai,large-language-models,microsoft-word,multimodal,pdf,powerpoint,python,scanned-pdf,scrapers,scraping,unstructured-data,vision-language-model

GitHub 星标★ 1529

上线时间2024-03-22 00:00:00

代码更新2026-09-28

仓库体积4.2 MB

本站数据更新2026-11-09

维护状态维护中

收录时间2026-08-09

浏览次数5

项目介绍

thepipe 是一个基于视觉语言模型（VLM）的文档数据清洗工具，专门解决从复杂文档（如扫描件、PDF、PPT、表格、手写笔记等）中提取干净结构化数据的问题。它利用视觉语言模型理解文档的版面、图像和文本，能够自动识别并抽取关键信息，去除噪声，输出适合下游任务（如RAG、模型微调）的高质量数据。核心能力包括：支持多种文档格式、自动OCR与版面分析、基于VLM的语义理解、可编程API与命令行接口，以及与其他数据处理流程的无缝集成。它旨在替代传统基于规则的解析方式，降低非结构化数据处理的复杂度，提升数据准备效率。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1529

技术标签

document-ai large-language-models multimodal pdf powerpoint

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 5 分钟部署方式：命令行工具 4 步

环境要求

Python 环境（README 未指定具体版本）
OpenAI API Key，或其他兼容 OpenAI 接口的 VLM 服务密钥
可选：GPU 相关依赖（PyTorch、Triton）为可选 extras，按需自行安装
可选：Whisper、Sentence Transformers、LlamaIndex 等额外依赖用于扩展功能

安装与启动步骤

1安装 thepipe

README 给出的唯一安装命令。默认只拉取 CPU 友好的依赖，适合受限环境和 CI 系统，GPU 库需另装。
```
pip install thepipe-api
```
2配置 VLM 后端

默认使用 OpenAI API，需传入 OpenAI 客户端即可开箱可用；也可改接 OpenRouter 或本地 OpenLLM 等兼容 OpenAI 接口的服务。
3用 CLI 提取数据

README 给出的命令行用法为 thepipe <source> [options]，把源替换为你的文档路径或来源即可抽取 markdown、表格与图片。
```
thepipe /your/path/document.pdf
```
4运行测试套件

在仓库目录先装基础依赖再跑测试；依赖可选 extras 或 OpenAI API Key 的用例会自动跳过。
```
pip install -r requirements.txt
python -m unittest discover
```

关键配置

配置项	必填	说明	示例
`model`	否	指定使用的视觉语言模型名称，默认 gpt-4o	`gpt-4o`
`base_url`	否	自定义 VLM 服务的接口地址，默认走 OpenAI	`https://openrouter.ai/api/v1`
`api_key`	是	OpenAI 或第三方服务商的密钥，需传入 OpenAI 客户端	`sk-xxxxxxxx`

如何确认成功

运行 thepipe 后能输出干净的 markdown、表格或图片即成功；跑测试套件无失败用例也可佐证。

常见问题

Q：不想用 OpenAI，能换别的模型服务吗？

A：可以。传入自定义 OpenAI 客户端即可：OpenRouter 把 base url 设为 https://openrouter.ai/api/v1，本地 OpenLLM 设为 http://localhost:3000/v1，并把对应服务商的 API Key 传进客户端。

Q：默认用的是哪个模型？

A：默认模型为 gpt-4o，可通过 model 参数改成其他模型名称。

Q：安装体积太大、依赖太重怎么办？

A：默认安装只包含 CPU 友好依赖，PyTorch、Triton 等 GPU 库是可选的 extras，只在需要时才安装。

Q：测试为什么有些被跳过了？

A：依赖 Whisper、Sentence Transformers、LlamaIndex 等可选 extras，或需要 OpenAI API Key 的测试，在对应依赖不可用时会自动跳过。

注意事项

README 只给出 CLI 用法概要 `thepipe <source> [options]`，具体可选参数请以官网 https://thepi.pe 或项目文档为准。
README 未列出环境变量的具体名称，配置 API Key 时请以项目文档为准。
默认安装面向 CPU 环境，显存相关依赖（PyTorch、Triton）需作为可选 extras 单独安装。
提取过程依赖 VLM，因此必须提供可用的模型服务密钥，否则相关功能无法工作。