markdown_web_browser

任意网页渲染成带来源的 Markdown,直接喂给 AI

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 自动化工作流 🍴 复刻 28 👀 关注 2
GitHub ↗
GitHub 星标 ★ 188
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

markdown_web_browser 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类自动化工作流
开发团队Dicklesworthstone
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型ai-agents,markdown,ocr,python,web-scraping
GitHub 星标★ 188
上线时间2025-11-07 00:00:00
代码更新2026-11-01
仓库体积7.6 MB
本站数据更新2026-11-03
维护状态活跃
收录时间2026-09-19
浏览次数3

项目介绍

markdown_web_browser 是一个面向 AI 智能体与自动化管线的网页转 Markdown 工具。它用无头 Chrome 渲染任意 URL,把整页截图切成适合 OCR 的小块,再通过 OCR 还原出结构化 Markdown,并附带来源信息(provenance)一并返回。它解决的核心问题是:很多网页依赖 JavaScript 动态渲染,普通抓取拿不到正文,而直接丢给大模型又缺少可追溯的来源。该项目把渲染、切片、OCR、结构化输出串成一条流水线,让智能体拿到干净、可引用的 Markdown 文本,而不是一堆 HTML 噪声。核心能力包括:任意 URL 的无头渲染、截图分块 OCR、Markdown 结构化输出、来源溯源,以及面向 AI 管线流式返回结果。适合需要把网页内容喂给 LLM 或做自动化数据采集的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-19 · 当前星标 ★ 188

核心亮点

  • 用无头 Chrome 渲染,能处理 JS 动态页面,比纯 HTTP 抓取覆盖更广
  • 截图切片再 OCR,规避复杂 DOM 解析,对结构混乱页面更鲁棒
  • 输出带 provenance 溯源信息,方便 AI 引用和结果核验

不足之处

  • 依赖 OCR,对图片文字、代码块、表格的还原精度可能不如直接解析 DOM
  • 基于截图渲染,速度与资源开销高于纯文本抓取

适用场景

  • 给 LLM 智能体提供可引用的网页正文
  • 自动化采集动态渲染页面的内容做知识库
  • 把网页内容转 Markdown 后接入 RAG 管线

替代项目

trafilatura、markdownify、Jina Reader

上一篇:Charge-Grinder

下一篇:typesafe-computer-use

同类项目推荐

opencode-browser 开源

在 AI 编辑器里直接指挥浏览器点按填表、抓数据

Browser automation plugin for OpenCode AI editor - Control Chrome/Edge with AI, auto···

★ 112 2026-10-21
ComfyUIMini 开源

手机上轻松跑 ComfyUI 工作流,随时随地出图

A mobile-friendly WebUI to run ComfyUI workflows.

★ 389 2026-08-09
maxun 开源

零代码点选网页,分钟级生成数据API

Turn any website into a structured API. Extract, automate, search and monitor the we···

★ 18132 2026-08-10
claude-telegram-supercharged 开源

在 Telegram 里 24 小时语音指挥 Claude Code 写代码

Run Claude Code 24/7 from Telegram. Drop-in upgrade for the official plugin: voice n···

★ 141 2026-09-30
dailycheckin 开源

一个脚本搞定十几个平台的每日自动签到

基于「Docker」/「青龙面板」/「群晖」的每日签到脚本(支持多账号)签到列表: |爱奇艺|···

★ 8750 2026-08-09
jenkins-cli 开源

在终端里像用 GitHub CLI 一样管理 Jenkins,快速查看运行和日志。

GitHub-style CLI for Jenkins — manage contexts, runs, logs, and admin tasks from yo···

★ 97 2026-08-09
Browser4 开源

让 AI 智能体自己开浏览器,自动抓数据、跑流程

Browser4 — an AI-native browser engine for autonomous agents, intelligent extractio···

★ 1175 2026-10-08
crawlee 开源

写爬虫不用再操心反爬和调度,专注提取数据

Crawlee—A web scraping and browser automation library for Node.js to build reliable···

★ 26316 2026-09-18
wxpath 开源

用查询语言写爬虫,像查数据库一样抓网页数据

wxpath - declarative web crawling with XPath; a Web Query Language (WQL)

★ 110 2026-08-09