pagesift

把网页和文档洗成干净 Markdown，直接喂给 AI

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 自动化工作流 🍴 复刻 19
GitHub ↗
GitHub 星标 ★ 182
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，自托管单二进制，免费使用

项目预览

pagesift 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类自动化工作流
开发团队YOLOW92
GitHubhttps://github.com/YOLOW92/pagesift
定价模式🏷️完全免费
价格说明开源项目，自托管单二进制，免费使用
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议AGPL-3.0
主要语言Rust
技术栈/模型ai-agents,browser-automation,crawl4ai-alternative,data-extraction,document-parsing,firecrawl,firecrawl-alternative,html-to-markdown,jina-reader,llm,markdown,mcp,mcp-server,pdf-extraction,rag,rust,self-hosted,web-crawler,web-scraper,web-scraping
GitHub 星标★ 182
上线时间2026-10-20 00:00:00
代码更新2026-10-31
仓库体积24.5 MB
本站数据更新2026-11-02
维护状态活跃
收录时间2026-11-02
浏览次数0

项目介绍

pagesift 是一个用 Rust 编写的网页抓取与爬虫工具，面向 AI Agent 和 RAG 数据管道，把网页 URL、PDF 和 Office 文档转换成干净的 Markdown 或 JSON。它解决的是大模型输入数据杂乱、格式不统一的问题：原始网页含大量脚本、导航和广告，直接喂给模型既浪费 token 又降低效果。核心能力包括：单二进制自托管部署，无需复杂依赖；提供与 Firecrawl、Jina Reader 兼容的 API，便于已有集成平滑迁移；内置 MCP server，可直接被支持 MCP 的 AI 客户端调用；提供 Python 和 Node SDK，方便在应用侧集成；支持浏览器自动化渲染动态页面，并做正文提取与结构化输出。整体定位是轻量、可私有化部署的文档清洗与抓取层。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-02 · 当前星标 ★ 182

核心亮点

  • Rust 单二进制自托管，部署和运维成本低
  • API 兼容 Firecrawl 与 Jina Reader，迁移改造成本小
  • 内置 MCP server 并提供 Python/Node SDK，Agent 集成路径完整

不足之处

  • 项目处于早期，星标约 182，生态和社区验证有限
  • 文档与边界场景（复杂动态页面、反爬站点）的成熟度待观察

适用场景

  • 为 RAG 知识库批量抓取网页并清洗成 Markdown
  • AI Agent 运行时按需读取 URL 或 PDF 内容
  • 自建 Firecrawl 替代方案，私有化部署文档解析服务

替代项目

Firecrawl、Crawl4AI、Jina Reader

上一篇：self-operating-computer

下一篇：wa-version

同类项目推荐

ComfyUI-OpenClaw 开源

聊天发指令，ComfyUI 自动出图出片

Your own personal AIGC Factory. Any picture. Any reel. The Comfy way. ©️

★ 559 2026-10-21
ComfyUI-Workflows-ZHO 开源

一键加载大神工作流，快速出图不踩坑

我的 ComfyUI 工作流合集 | My ComfyUI workflows collection

★ 7941 2026-08-09
claude-ops 开源

一句话指挥 Claude 管完收件箱、收入、AWS 和 PR

Business operating system for Claude Code — 57 skills, 21 agents, smart daemon. Uni···

★ 547 2026-09-25
browser-search 开源

让 AI 自己上网搜真东西，告别瞎编乱造

A skill for AI agents: search the web with SearXNG, browse with Camofox, bypass prot···

★ 540 2026-08-09
LoomFlow 开源

说句话就生成可运行工作流，一键自托管

Lightweight AI-native workflow builder for individuals and small teams — describe y···

★ 136 2026-09-20
temporal 开源

让分布式任务编排像写普通代码一样简单可靠

Temporal service

★ 24113 2026-08-10
EVE-Online-Bot 开源

用 AI 看屏幕玩 EVE，自动采矿战斗

A Bot to play Eve Online leveraging various methods including popular machine learni···

★ 137 2026-09-14
byob 开源

让AI直接操控你已打开的Chrome，无需新开浏览器

Bring Your Own Browser — let your AI agent use the Chrome you already have open

★ 145 2026-08-09
My-AppDaemon 开源

抄作业式搞定 Home Assistant 的 AppDaemon 自动化

My apps, my helpfiles, all about AppDaemon for Home Assistant

★ 112 2026-08-09