markdown-crawler
一键把整个网站变成 Markdown，喂给 AI 做知识库
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 480
技术标签
使用教程
环境要求
- Python
安装与启动步骤
-
1装命令行
已发布到包索引。
pip install markdown-crawler -
2抓一个小站试试
限制深度与线程数，别一上来全站爬。
markdown-crawler -t 5 -d 3 -b ./markdown https://en.wikipedia.org/wiki/Morty_Smith -
3检查输出目录
每页一个 Markdown，链接关系保留。
-
4调参数控制范围
深度、线程、白名单都能限。
如何确认成功
抓取结束后输出目录里的 Markdown 数量与站点实际页面数吻合，且内部链接被重写成相对路径
注意事项
- 它把整站抓成 Markdown，用做本地语料或知识库素材都方便。
- 线程与深度是控制礼貌度的关键，对别人站点务必调低。
- 抓取前看目标站的 robots 与条款，商用场景尤其要注意。
- 动态渲染的页面它抓不全，需要无头浏览器时换工具。
核心亮点
- 多线程抓取，速度比单线程爬虫快数倍
- 输出干净的 Markdown，直接适配 RAG 分块和向量化
- 递归抓取并保留网站目录结构，方便管理大量页面
不足之处
- 文档/社区待观察
- 对 JavaScript 渲染的页面支持有限，可能抓不到动态内容
适用场景
- 为 LLM 应用构建网站知识库
- 离线备份网站内容为易读文本
- 批量抓取文档站生成训练语料
替代项目
crawl4ai、Scrapy、Firecrawl
下一篇：awesome-rag
同类项目推荐
NLP-Knowledge-Graph
开源
一站式掌握NLP、知识图谱与大模型实战，快速搭建智能对话系统。
自然语言处理、知识图谱、大语言模型，Agent等技术的前沿追踪、研究与应用。
diffusion-nlp-paper-arxiv
开源
自动抓取 arXiv 文本扩散论文，省去手动检索
Auto get diffusion nlp papers in Axriv. More papers Information can be found in anot···
rag-search
开源
快速搭建语义搜索 API，让应用具备私有知识问答能力
RAG Search API
SurfSense
开源
一个平台聚合全网实时数据，研究效率翻倍
Air-gapped, privacy-focused, open-source NotebookLM alternative. AI agent that resea···
ai-sdk-preview-rag
开源
用 AI SDK 快速搭建带知识库的问答机器人
Retrieval-augmented generation (RAG) template powered by the AI SDK.
SmartRAG
开源
本地跑的多模态文档问答，资料不出设备
SmartRAG is a privacy-first multimodal RAG system that lets you chat intelligently w···
AITreasureBox
开源
自动抓取AI资源，一站找齐工具论文教程
Automatically collected AI repos, tools, websites, papers & tutorials. 实用AI百宝箱
ai-second-brain
开源
把散落的 AI 对话整理成可检索的个人知识库
Build a living, searchable AI second brain from your ChatGPT, Claude, and research h···
synaplan-nextcloud
开源
在 Nextcloud 里用自建 AI 做文档问答、翻译和摘要
Synaplan AI integration into nextcloud for RAG powered discussions, translations and···