
markdown_web_browser
任意网页渲染成带来源的 Markdown,直接喂给 AI
markdown_web_browser 是一个面向 AI 智能体与自动化管线的网页转 Markdown 工具。它用无头 Chrome 渲染任意 URL,把整页截图切成适合 OCR 的小块,再通过 OCR 还原出结构化 Markdown,并附带来源信息(provenance)一并返回。它解决的核心问题是:很多网页依赖 JavaScript 动态渲染,普通抓取拿不到正文,而直接丢给大模型又缺少可追溯的来源。该项目把渲染、切片、OCR、结构化输出串成一条流水线,让智能体拿到干净、可引用的 Markdown 文本,而不是一堆 HTML 噪声。核心能力包括:任意 URL 的无头渲染、截图分块 OCR、Markdown 结构化输出、来源溯源,以及面向 AI 管线流式返回结果。适合需要把网页内容喂给 LLM 或做自动化数据采集的场景。
项目数据
使用教程
核心亮点
- 用无头 Chrome 渲染,能处理 JS 动态页面,比纯 HTTP 抓取覆盖更广
- 截图切片再 OCR,规避复杂 DOM 解析,对结构混乱页面更鲁棒
- 输出带 provenance 溯源信息,方便 AI 引用和结果核验
不足之处
- 依赖 OCR,对图片文字、代码块、表格的还原精度可能不如直接解析 DOM
- 基于截图渲染,速度与资源开销高于纯文本抓取
适用场景
- 给 LLM 智能体提供可引用的网页正文
- 自动化采集动态渲染页面的内容做知识库
- 把网页内容转 Markdown 后接入 RAG 管线
替代项目
trafilatura、markdownify、Jina Reader
项目介绍
上一篇:Charge-Grinder
同类项目推荐
n8n
开源
拖拽搭建自动化流程,轻松接入 AI 与 400+ 应用,搞定重复工作。
Fair-code workflow automation platform with native AI capabilities. Combine visual b···
robotcode
开源
让 Robot Framework 拥有现代 IDE 体验,调试、补全、运行一气呵成。
Open Source Toolkit for Robot Framework, providing Language Server Protocol support,···
puppeteer
开源
用 JavaScript 轻松操控无头浏览器,搞定自动化测试与网页抓取。
JavaScript API for Chrome and Firefox
customermates
开源
比 Pipedrive 直观 10 倍的现代开源 CRM,轻松管理客户与自动化流程。
Building a modern alternative to Pipedrive that is 10x more intuitive.