doc-scraper

一条命令把文档站抓成干净 Markdown,直接喂给 LLM

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 26 🐛 待处理 52 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 110
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无在线服务

项目预览

doc-scraper 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队Sriram-PR
定价模式🏷️完全免费
价格说明开源免费,无在线服务
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型data-preparation,documentation,golang-cli,llm,mcp,mcp-server,web-crawler,web-scraper
GitHub 星标★ 110
上线时间2025-04-27 00:00:00
代码更新2026-11-14
仓库体积4.8 MB
本站数据更新2026-11-15
维护状态活跃
收录时间2026-10-02
浏览次数2

项目介绍

doc-scraper 是一个用 Go 编写的命令行网页爬虫,专门用来抓取各类文档站点,并把页面内容清洗成结构化的 Markdown 文本,方便喂给大语言模型做 RAG 检索或训练数据准备。它解决的是文档站点结构杂乱、正文与导航广告混在一起、直接抓取难以得到干净语料的问题。核心能力包括:针对文档站点的爬取与链接遍历、正文提取与噪声过滤、HTML 转 Markdown、以及通过 MCP(Model Context Protocol)以 MCP Server 形式对外提供能力,让 AI 客户端或 Agent 直接调用抓取结果。作为 Go 单文件二进制工具,部署简单、无需额外运行时,适合在数据准备流水线中批量处理文档源。项目目前星标约 101,属于早期阶段,功能聚焦在抓取与格式转换这一环。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 110

核心亮点

  • Go 编译为单二进制,无运行时依赖,部署和流水线集成成本低
  • 输出面向 LLM 的干净 Markdown,省去自己写正文提取和去噪逻辑
  • 内置 MCP Server 支持,可被 AI 客户端/Agent 直接调用,契合当前工具链

不足之处

  • 项目早期、星标少,长期维护和更新节奏待观察
  • 针对不同文档站点的模板/适配覆盖有限,复杂站点可能需要自行调整
  • 文档与社区生态尚小,遇到问题可参考的案例不多

适用场景

  • 为 RAG 知识库批量抓取官方文档并转成 Markdown 语料
  • 给本地 LLM 或 Agent 准备某框架/产品的离线文档数据
  • 通过 MCP 让 AI 助手按需抓取并阅读指定文档站点

替代项目

Firecrawl、markdowner、trafilatura

上一篇:RAG_LearnLittleCode

下一篇:Des-CTF-Knowledge

同类项目推荐

akb 开源

给 AI 智能体一个可检索、可共享的组织记忆库

AKB — Agent Knowledgebase. Organizational memory for AI agents: vault-scoped docs /···

★ 168 2026-09-12
docsagent 开源

让 AI 秒读你的 Zotero 文献库,本地私密检索

⚡ DocsAgent — give your AI agents instant, private access to your personal knowled···

★ 580 2026-09-22
OpenDeepWiki 开源

开源版DeepWiki,让团队文档秒变智能问答库

OpenDeepWiki is the open-source version of the DeepWiki project, aiming to provide a···

★ 3663 2026-08-09
Awesome-Text2SQL 开源

一站式搞定自然语言转SQL,从入门到实战资源全在这

Curated tutorials and resources for Large Language Models, Text2SQL, Text2DSL、Text···

★ 3783 2026-08-09
contoso-chat 开源

一键跑通 Azure RAG 应用,从代码到评估部署全流程

This sample has the full End2End process of creating RAG application with Prompty an···

★ 767 2026-08-09
NyRAG 开源

无代码搭 RAG,多源知识秒变问答机器人

advanced, scalable, no-code RAG

★ 333 2026-10-12
UniversalRAG 开源

一套 RAG 搞定文本、表格、图像,多粒度检索更精准

[ACL 2026 Oral] UniversalRAG: Retrieval-Augmented Generation over Corpora of Diverse···

★ 178 2026-08-09
ask-my-pdf 开源

上传 PDF,直接提问,答案即刻呈现

A Webapp that uses Retrieval Augmented Generation (RAG) and Large Language Models to···

★ 109 2026-08-09
MemoRAG 开源

给 RAG 装个记忆库,模糊问题也能精准检索

Empowering RAG with a memory-based data interface for all-purpose applications!

★ 2273 2026-08-09