reader

把任意网页变成干净 Markdown，直接喂给 AI 智能体

开源 🏷️定价信息待确认 ✅ 目前可打开 自动化工作流 🍴 复刻 41
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 561
维护状态 较活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

reader 项目界面预览图
图片来源：项目官网

项目数据

分类自动化工作流
开发团队vakra-dev
官网地址https://reader.dev
GitHubhttps://github.com/vakra-dev/reader
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言TypeScript
技术栈/模型ai,ai-agents,ai-crawler,ai-scraper,anti-bot,crawler,data-extraction,firecrawl-alternative,headless-browser,html-to-markdown,llm,markdown,nodejs,proxy-rotation,scraper,tavily-alternative,typescript,web-crawler,web-data-extraction,web-scraping
GitHub 星标★ 561
上线时间2026-01-07 00:00:00
代码更新2026-10-06
仓库体积1.0 MB
本站数据更新2026-11-04
维护状态较活跃
收录时间2026-09-16
浏览次数1

项目介绍

Reader 是一套面向 AI 应用的开源 Web 基础设施，主要解决大模型和智能体在获取网页内容时遇到的脏数据、反爬拦截和会话管理难题。它提供抓取、爬取和自动化三类核心能力：单页抓取可把任意网页转成干净的 Markdown，方便直接喂给 LLM；批量爬取支持按站点遍历链接；自动化能力则基于无头浏览器维持登录态和浏览器会话，能处理需要交互或带反爬机制的页面。项目用 TypeScript 编写，定位是 Firecrawl 的开源替代方案，输出结构统一，可直接接入 AI Agent 的检索、数据抽取和网页操作流程，减少自建爬虫时在渲染、清洗和风控对抗上的重复投入。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 561

使用教程

难度：入门 约 25 分钟 部署方式：本地安装 5 步

环境要求

  • Node 环境
  • 目标站点

安装与启动步骤

  1. 1装库

    把网页抓取与清洗包成命令行。

    npm install @vakra-dev/reader

  2. 2装浏览器内核

    抓动态页面需要它，首次会下载。

    npx playwright install chromium

  3. 3起服务

    常驻模式复用连接池，批量抓更快。

    npx reader start --direct-pool-size 5

  4. 4抓一个页面

    先用单页确认输出格式。

    npx reader scrape https://example.com

  5. 5按站抓取

    限制深度与页数，别失控。

    npx reader crawl https://example.com -d 2

如何确认成功

抓一个动态渲染的页面能拿到完整正文与结构化字段，深度抓取不会越界到外部域名

注意事项

  • 它把抓取与清洗合并成一步。
  • 常驻模式比单次调用快很多。
  • 抓取要遵守目标站点的规则与频率限制。
  • 反爬强的站点需要额外配置。

核心亮点

  • 内置 HTML 转 Markdown 清洗，输出可直接用于 LLM 上下文，省去二次解析
  • 基于无头浏览器并支持浏览器会话，能应对登录态和部分反爬场景
  • 抓取、爬取、自动化三类能力统一 API，TypeScript 技术栈对前端/Node 团队友好

不足之处

  • 项目处于早期，星标和社区规模较小，长期维护与生态尚待观察
  • 反爬对抗能力有限，面对强风控站点仍可能失败，需自行补充代理等方案

适用场景

  • 为 RAG 或 AI 搜索构建网页内容采集与清洗管道
  • 让 AI Agent 自动抓取指定站点并抽取结构化数据
  • 需要登录态的网页自动化操作与批量内容同步

替代项目

Firecrawl、Crawl4AI、Jina Reader

上一篇：gpt-home

下一篇：computer-use-linux

同类项目推荐

ToolJet 开源

拖拽搭建内部工具，连接数据源，自动化工作流，快速交付。

Open-source foundation of ToolJet AI - the enterprise app generation platform for in···

★ 41190 2026-08-10
llm-pid-tuner 开源

用大模型自动迭代 PID 参数，省去手动试凑

基于 LLM 的极简 PID 自动调参系统 (CLI 版)

★ 903 2026-09-16
maestro 开源

Netflix 出品，大规模工作流编排，搞定复杂数据管道

Maestro: Netflix’s Workflow Orchestrator

★ 3852 2026-08-09
WorkBuddy-Guide 开源

中文流程照着抄，知识管理到交付一条龙全搞定

WorkBuddy 中文实践知识库与办公交付工作流｜OPCspace 旗舰项目

★ 1 2026-08-09
SeleniumBase 开源

写 Python 脚本自动开浏览器，绕过反爬还能跑测试

Browser automation and testing without limits. SeleniumBase's CDP Mode bypasses bot-···

★ 13225 2026-09-18
Autofish 开源

一句话指挥 Android，AI 自动帮你点按滑动完成任务

An AI Agent tool to automate Android devices reliably

★ 112 2026-08-09
n8n-as-code 开源

用代码和AI助手轻松构建、同步和管理n8n工作流

Give your AI agent n8n superpowers. 537 nodes with full schemas, 7,700+ templates, G···

★ 1641 2026-08-10
worktrunk 开源

一条命令给每个 AI 代理开独立工作区，并行写码不打架

Worktrunk is a CLI for Git worktree management, designed for parallel AI agent workf···

★ 10658 2026-09-22
GhostDesk 开源

给 AI 一双眼睛和手，自动操作任何桌面软件，无需 API

Give any AI agent a full desktop — it sees the screen, clicks, types, and runs apps···

★ 156 2026-08-09