scraper
本站收录 26 个带「scraper」标签的 AI 开源项目
firecrawl面向 AI 时代的上下文 API,提供大规模网页搜索、抓取与交互能力,让开发者轻松把互联网数据接入智能体应用,是 RAG 和 AI 工作流的数据入口利器。★ 201,905
crawl4aiCrawl4AI 是一个面向大语言模型的开源网页爬虫与抓取工具,用 Python 编写。它解决的核心问题是:传统爬虫抓下来的 HTML 噪声大、结构乱,直接喂给★ 87,396
EasySpiderEasySpider 是一款可视化、无代码的网页爬虫与浏览器自动化工具,主要面向非程序员用户。它通过图形化界面让用户像搭积木一样设计爬虫任务,无需编写代码即可完★ 44,797
crawleeCrawlee 是 Apify 开源的 Node.js 网页抓取与浏览器自动化库,用 JavaScript/TypeScript 编写,目标是让开发者快速构建稳★ 26,452
Douyin_TikTok_Download_API这是一个自托管的抖音、TikTok、B站数据采集与无水印视频下载 API 项目。它解决的是短视频平台内容难以批量获取、官方接口受限、第三方服务不稳定等问题。核心★ 21,405
maxunMaxun 是一个开源的零代码网页数据提取平台,专为需要快速从网站获取结构化数据的用户设计。它解决了传统爬虫开发门槛高、维护成本大的问题,让非技术人员也能通过可★ 18,441
crawlee-pythonCrawlee 是 Apify 推出的 Python 网页抓取与浏览器自动化库,目标是让开发者用一套统一 API 构建稳定可靠的爬虫。它解决的核心问题是:传统爬★ 9,675
llm-scraperllm-scraper 是一个基于 TypeScript 的开源库,利用大语言模型将任意网页转换为结构化数据。它解决了传统网页抓取工具依赖固定选择器、难以应对页★ 6,954
myGPTReadermyGPTReader 是一个社区驱动的 AI 阅读与对话工具,利用 ChatGPT 技术帮助用户高效阅读和交互。它通过爬虫抓取网页内容,结合嵌入技术,让用户能★ 4,396
CyberScraper-2077CyberScraper-2077 是一个由大语言模型驱动的开源网络爬虫工具,支持 OpenAI、Gemini 和 Ollama 等主流 LLM 后端。它解决了★ 3,301
weibo_terminaterweibo_terminater 是一个基于 Python 的微博数据爬虫工具,旨在高效、全面地抓取微博平台上的公开数据,包括微博内容、评论、关注者列表等。它解★ 2,314
DevDocsDevDocs 是一个完全免费、注重隐私的基于 UI 的技术文档 MCP 服务器,专为程序员和软件开发者设计。它解决了开发者在编码时频繁切换 IDE 和浏览器查★ 2,107
x-tweet-fetcherx-tweet-fetcher 是一个无需登录或 API 密钥即可抓取 X/Twitter 推文、回复、时间线和文章的 Python 工具,专为 AI 智能体设★ 1,004
cryptoCMDcryptoCMD 是一个 Python 库,用于获取和整理加密货币的历史价格数据,数据源为 CoinMarketCap。它解决了加密货币历史行情数据获取难、格★ 613
readerReader 是一套面向 AI 应用的开源 Web 基础设施,主要解决大模型和智能体在获取网页内容时遇到的脏数据、反爬拦截和会话管理难题。它提供抓取、爬取和自动★ 564
OpenAverOpenAver 是一款免费开源的桌面应用,专为 JAV(日本成人影视)媒体库管理而设计。它解决了 Jellyfin、Emby 和 Kodi 等媒体服务器中 J★ 361
gtm-skillsgtm-skills 是面向 Claude、Codex 等 AI 编程与对话代理的 GTM(Go-To-Market)技能集合,用 TypeScript 实现。★ 360
llm-readerllm-reader 是一个将网页转换为大语言模型友好文本输入的开源工具,定位类似 Firecrawl 和 Jina Reader API。它主要解决 RAG(★ 316
readerreader 是 Jina AI Reader 的本地化改编版本,通过 Docker 实现一键部署,将任意网页 URL 转换为大语言模型友好的输入格式。它解决的★ 312
flickr_scraperflickr_scraper 是一个基于 Python 的 Flickr 图片抓取工具,专门用于按关键词批量下载图片,快速构建计算机视觉数据集。它通过 Flic★ 303
kameleoKameleo 是一款面向网页抓取与自动化场景的反检测浏览器工具,核心解决自动化脚本被网站指纹识别、封禁的问题。它在 Chromium 和 Firefox 引擎★ 223
unofficial-claude-api这是一个非官方的 Claude API 封装库,基于 Python 实现,通过 Firefox 浏览器和 geckodriver 驱动,自动模拟登录 Claud★ 205
BrowserPilotBrowserPilot 是一个开源的浏览器智能体项目,旨在替代 Perplexity Comet、director.ai 和 firecrawl 的组合功能。★ 180
fitterfitter 是一个用 Go 编写的智能体工具,旨在提供一种从 API 和网站收集信息的新方式。它结合了 AI 代理、API 调用、网页抓取和数据解析能力,并支★ 133
google-browser-scrapergoogle-browser-scraper 是一个用 Python 编写的自托管 Google 搜索结果抓取工具。它通过 patchright 驱动真实的 C★ 122
wxpathwxpath 是一个基于 XPath 的声明式网页爬取工具,它提出了一种称为 Web Query Language(WQL)的查询语言,让开发者可以用类似 SQ★ 110