MegaParse

解析文档零丢失,直接喂给大模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 416 🐛 待处理 34 👀 关注 33
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 7417
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用和部署。

项目预览

MegaParse 项目界面预览图
图片来源:项目官网

项目数据

分类开源模型
开发团队The-Vibe-Company
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型docx,llm,parser,pdf,powerpoint
GitHub 星标★ 7417
上线时间2024-05-29 00:00:00
代码更新2026-10-15
仓库体积56.5 MB
本站数据更新2026-11-08
维护状态较活跃
收录时间2026-08-09
浏览次数7

项目介绍

MegaParse 是一个专为 LLM 数据摄取而优化的文件解析工具,旨在解决传统解析器在处理 PDF、DOCX、PPTX 等文档时丢失格式和内容的问题。它能够将文档解析为最适合 LLM 输入的格式,确保信息完整无损。核心能力包括:支持多种常见文档格式,解析结果保留原始布局和结构,易于集成到 LLM 工作流中。项目基于 Python 开发,提供简洁的 API 接口,适合数据预处理、知识库构建等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 7417

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 15 分钟 部署方式:库/依赖 6 步

环境要求

  • Python 版本 >= 3.11
  • 需要 OpenAI 或 Anthropic API Key(写入 .env 文件)
  • 系统需安装 poppler(处理图片和 PDF)
  • 系统需安装 tesseract(处理图片和 PDF)
  • macOS 还需额外安装 libmagic

安装与启动步骤

  1. 1安装 MegaParse

    使用 pip 从 PyPI 安装 megaparse 库,注意 Python 必须为 3.11 及以上版本。

    pip install megaparse
  2. 2配置 API Key

    在项目目录下的 .env 文件中添加 OpenAI 或 Anthropic 的 API Key,供解析调用大模型使用。

  3. 3安装 poppler

    poppler 用于处理图片和 PDF 文件,需按操作系统对应的包管理器安装。

  4. 4安装 tesseract

    tesseract 用于 OCR 识别图片与 PDF 中的文字,需按操作系统对应的包管理器安装。

  5. 5macOS 安装 libmagic

    如果使用 macOS,还需要通过 Homebrew 安装 libmagic,否则可能无法识别文件类型。

    brew install libmagic
  6. 6运行解析示例

    将待解析的 PDF 放在当前目录,使用 MegaParse 加载并打印解析结果。

    from megaparse import MegaParse
    from langchain_openai import ChatOpenAI
    
    megaparse = MegaParse()
    response = megaparse.load("./test.pdf")
    print(response)

关键配置

配置项必填说明示例
OPENAI_API_KEY是OpenAI 的 API Key,写入 .env 供解析调用大模型sk-xxxxxxxxxxxxxxxx
ANTHROPIC_API_KEY否Anthropic 的 API Key,与 OpenAI Key 二选一即可sk-ant-xxxxxxxx

如何确认成功

运行示例代码后终端成功打印出解析出的文档文本内容,且无模块或依赖缺失报错。

常见问题

Q:必须同时安装 poppler 和 tesseract 吗?

A:READM E 中将其列为使用前提,处理图片和 PDF 时需要,建议都安装以避免解析失败。

Q:没有 OpenAI Key 可以用 Anthropic 吗?

A:可以,README 说明 API Key 可添加 OpenAI 或 Anthropic 之一到 .env 文件中。

Q:macOS 报 libmagic 相关错误怎么办?

A:执行 brew install libmagic 安装该依赖即可,README 中特别说明 macOS 需要额外安装。

Q:Python 版本有什么要求?

A:README 明确要求 Python 版本不低于 3.11,低于该版本请先升级。

注意事项

  • README 未给出 poppler、tesseract 的具体安装命令,请按操作系统官方方式安装。
  • API Key 不要提交到公开仓库,建议通过 .env 管理。
  • MegaParse 支持 PDF、PowerPoint、Word、Excel、CSV 及纯文本等多种格式。

核心亮点

  • 解析 PDF/DOCX/PPTX 时保留表格、标题等结构,避免信息丢失
  • 输出格式针对 LLM 优化,减少后续清洗工作
  • API 简洁,快速集成到现有数据管道

不足之处

  • 文档/社区待观察
  • 对扫描版 PDF 的 OCR 支持可能有限

适用场景

  • 构建 RAG 系统前的文档预处理
  • 批量转换办公文档为 LLM 可用格式
  • 知识库数据清洗与结构化

替代项目

Unstructured、LlamaIndex、LangChain

上一篇:mistral.rs

下一篇:hertzbeat

同类项目推荐

qzcli_tool 开源

命令行管理启智AI任务,资源查询、提交、看日志一步到位,还能接入agent。

启智平台任务管理 CLI:资源查询、任务提交、日志查看和 MCP/agent workflow

★ 146 2026-08-09
Friday 开源

给 AI 代理装上企业级控制中枢,安全编排、可控运行

Private control plane for AI agents

★ 833 2026-08-09
ort 开源

用 Rust 跑 ONNX 模型,推理训练一把梭

Fast ML inference & training for ONNX models in Rust

★ 2611 2026-08-10
opencode-llm-proxy 开源

本地一个代理,统一接入 OpenAI、Anthropic、Gemini 等大模型

Local OpenCode-backed LLM gateway for OpenAI, Anthropic, Gemini, and Responses API-c···

★ 86 2026-08-09
finn 开源

把量化神经网络自动编译成 FPGA 数据流硬件

Dataflow compiler for QNN inference on FPGAs

★ 1089 2026-11-08
awesome-llm-token-optimization 开源

一站式收藏 LLM 省钱秘籍,快速降低 Token 成本

A curated list of strategies, tools, papers, and resources for reducing LLM token co···

★ 118 2026-08-09
beneath 开源

免运维的实时数据管道,一键接入,秒级查询。

Beneath is a serverless real-time data platform ⚡️

★ 84 2026-08-09
chroma 开源

给 AI 应用装一个超快的向量搜索引擎

Search infrastructure for AI

★ 29652 2026-08-09
GUNDAM 开源

用语言模型自动给数据排优先级,让系统先处理最重要的。

GUNDAM is a data management system that prioritizes data using language models.

★ 187 2026-08-09