searxNcrawl

给 AI 装搜索和整站抓取,免 Key 自托管

开源 freemium 搜索知识
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 180
维护状态 活跃
是否开源 是
定价模式 freemium

项目预览

项目数据

分类搜索知识
开发团队DasDigitaleMomentum
所属国家
定价模式freemium
价格说明开源自托管免费,官网提供托管服务,定价信息待确认
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ai-agents,crawl4ai,crawler,firecrawl-alternative,llm,llm-tools,markdown,mcp,mcp-server,model-context-protocol,playwright,python,rag,searxng,self-hosted,web-crawler,web-scraping,web-search
GitHub 星标★ 180
30天Star增速
HF 下载量
上线时间2026-01-09 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-21
浏览次数0

项目介绍

searxNcrawl 是一个开源的 MCP 服务器,为 AI Agent 提供两项核心能力:基于 SearXNG 的网页搜索,以及把网页、整站甚至登录后才能访问的区域抓取并转换成干净的 Markdown。它解决的是 LLM 应用在联网检索时既要搜索又要高质量正文提取的问题,避免自己维护搜索后端和爬虫管线。项目用 Python 编写,底层结合 Playwright 与 crawl4ai,自带自托管能力,不需要任何搜索或抓取 API Key,对成本敏感和注重数据隐私的团队友好。通过 MCP 协议,它可以被 Claude 等支持 Model Context Protocol 的客户端直接挂载为工具,让 Agent 在对话中完成搜索、打开页面、抓取整站和登录态内容。作者还规划了兼容 Firecrawl 的 API,方便已有 Firecrawl 调用代码迁移。整体定位是轻量、可自托管的一站式搜索加抓取工具层,适合个人开发者和中小团队快速给 Agent 接上联网能力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 搜索用 SearXNG 自托管,抓取用 Playwright 处理动态页面,无需任何第三方 API Key
  • 支持整站抓取和登录后区域抓取,输出干净 Markdown,直接喂给 LLM 上下文
  • 走 MCP 协议,可被 Claude 等客户端直接挂载为工具,接入成本低

不足之处

  • 项目仍处早期,180 星,文档与社区生态尚不成熟
  • 登录态抓取和整站爬取依赖 Playwright,资源占用和反爬稳定性需自行调优

适用场景

  • 给本地 LLM Agent 挂载联网搜索与网页正文抓取工具
  • 把技术文档整站抓取成 Markdown 做本地知识库
  • 抓取需要登录的后台页面内容供 AI 分析

替代项目

Firecrawl、crawl4ai

上一篇:cjkfold

下一篇:bgts-context-engine

同类项目推荐

firecrawl 开源

网页抓取像喝水一样简单,开发者省下整周加班

Supercharge your AI agents with data from the web and beyond. Building the library f···

★ 193250 2026-08-09
graphify 开源

整个代码库画成一张图,找问题一眼定位

Turn any codebase, with its docs, SQL schemas, configs, and PDFs, into a queryable k···

★ 129532 2026-08-09
contoso-chat 开源

一键跑通 Azure RAG 应用,从代码到评估部署全流程

This sample has the full End2End process of creating RAG application with Prompty an···

★ 766 2026-08-09
WeKnora 开源

文档往里一扔,自动变成啥都能答的知识库

Open-source LLM knowledge platform: turn raw documents into a queryable RAG, an auto···

★ 34819 2026-08-09