web-scraping 第 2 页
本站收录 89 个带「web-scraping」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 2 页）
web-scraper-apiOxylabs Web Scraper API 是一站式网页抓取接口，专为实时、大规模数据提取设计。单次请求即可完成代理、CAPTCHA 处理、JavaScri★ 494
camofox-browserCamofox Browser 是一个面向 AI 智能体的反检测浏览器服务器，它通过 REST API 封装了 Camoufox 引擎，并提供 OpenClaw★ 425
AI-Search-pyAI-Search 将普通英语查询转化为结构化网页数据，支持自动 Markdown 提取与完整 JavaScript 渲染，可轻松处理动态网站。它把自然语言搜索★ 421
oxylabs-ai-studio-jsOxylabs AI Studio 的 JavaScript SDK，通过 AI 驱动的抓取器、爬虫与浏览器自动化，从任意网站收集结构化数据。支持自然语言指令完★ 411
kurikuri 是一个用 Zig 编写的浏览器与移动设备自动化工具集，专为 AI 智能体设计。它解决的核心问题是：AI 代理在执行网页抓取、浏览器操作和手机控制时，往★ 366
camoufox-clicamoufox-cli 是一个基于 Camoufox 反检测浏览器的命令行工具与技能包，专为 AI Agent 和自动化脚本设计。它解决的核心问题是：传统 P★ 353
geo-aeo-trackergeo-aeo-tracker 是一个开源的、本地优先的 AI 可见度情报仪表盘，用于追踪品牌在 6 个主流 AI 模型（如 ChatGPT、Copilot、G★ 300
MinerU-HTMLMinerU-HTML 是一个基于小型语言模型（SLM）的 HTML 主内容提取工具，能够从杂乱网页中提取干净的 HTML 正文。它解决的是网页内容解析中常见的★ 295
teracrawlteracrawl 是一个专为大型语言模型（LLM）优化设计的高性能网页爬虫 API。它解决的核心问题是：LLM 应用需要从任意网站或搜索结果中提取干净、结构化★ 286
searcharvestersearcharvester 是一个面向 AI 代理的自托管搜索与网页内容抓取服务，将 SearXNG 的 100+ 搜索引擎聚合能力与 trafilatura★ 280
Uni-CLIUni-CLI 是一个面向 AI 代理的统一命令行接口工具，旨在解决 AI 代理在操作多种软件界面时缺乏统一入口的问题。它允许用户通过一条命令搜索、运行和检查跨★ 235
pocketgroqPocketGroq 是一个 Python 库，旨在简化 Groq API 的集成，让开发者能快速构建基于大语言模型的对话、推理和自动化代理应用。它解决了直接调★ 216
clearcote-browserclearcote-browser 是一个开源的隐身 Chromium 浏览器，核心目标是在引擎层面伪造浏览器指纹，让自动化脚本和爬虫更难被网站识别与封禁。它基★ 216
markdown_web_browsermarkdown_web_browser 是一个面向 AI 智能体与自动化管线的网页转 Markdown 工具。它用无头 Chrome 渲染任意 URL，把整页★ 187
charlottecharlotte 是一个面向 AI 代理的浏览器 MCP（模型上下文协议）服务器，旨在以 token 高效的方式将网页结构化后提供给大语言模型。它解决了传统浏★ 182
apify-sdk-pythonApify SDK for Python 是 Apify 官方推出的 Python 库，用于构建 Apify Actors——运行在 Apify 云平台上的无服★ 180
searxNcrawlsearxNcrawl 是一个开源的 MCP 服务器，为 AI Agent 提供两项核心能力：基于 SearXNG 的网页搜索，以及把网页、整站甚至登录后才能访★ 180
browser-debugger-clibrowser-debugger-cli 是一个用 TypeScript 编写的命令行工具，让 Claude Code 等编程代理直接从 shell 驱动和调试★ 178
AutomatiQAutomatiQ 是一个针对网页的 AI 助手逆向工程工具，用 Python 编写。它解决的核心问题是：当现有 AI 助手或自动化工具无法满足特定网页交互需求★ 174
chromiumfishchromiumfish 是一个基于 Chromium 的隐身浏览器构建，专门解决自动化脚本被网站反爬系统识别的痛点。它内置了反指纹识别能力，针对 Canvas★ 169
real-estate-ai-agent这是一个基于Python的智能体系统，专门用于从房地产网站提取房源信息，并将其转化为结构化的JSON数据。它结合了AI智能体（如CrewAI）、Nebius Q★ 160
decodo-openclaw-skillDecodo OpenClaw Skill 是一个专为 OpenClaw 智能体框架设计的技能插件，它通过封装 Decodo Web Scraping API，★ 153
anti-detect-browser-tools-tech-comparison这是一个面向网页抓取与反爬对抗的技术对比资料库，用 Python 编写，系统性地拆解 Botasaurus、Patchright、XDriver 等主流反检测浏★ 150
osint-skillosint-skill 是一个开源智能体技能包，为 Claude Code、OpenClaw、Codex、OpenCode 等 AI 代理提供开源情报（OSIN★ 146
foxprofilefoxprofile 是一个免费开源的防检测浏览器配置文件管理器，主要解决多账号运营和自动化场景下浏览器环境隔离与指纹伪装的问题。它为每个配置文件独立维护指纹、★ 146
web-scout-mcpweb-scout-mcp 是一个基于 JavaScript 的 MCP（模型上下文协议）服务器，为 AI 助手提供网页搜索和内容提取能力。它集成了 DuckD★ 138
apitapapitap 是一个将任意网站转化为 API 的命令行工具、MCP 服务器和 npm 库。它解决了开发者面对无文档、无 SDK 的网站时，难以获取结构化数据或执★ 130
mdmd 是一款面向 macOS 的实用抽屉工具，旨在将多种常用功能整合到一个快捷面板中，提升桌面操作效率。它集成了聊天、剪贴板管理、网页抓取、窗口管理和快捷键设置★ 127
open-web-bridgeopen-web-bridge 是一个基于 CLI 的浏览器自动化桥接工具，让任意 AI Agent 直接驱动你本机真实运行的 Chrome 浏览器。它通过 C★ 122
camofox-mcpcamofox-mcp 是一个面向 AI 智能体的反检测浏览器 MCP 服务器，让 Claude、Cursor 等智能体能够在不被网站拦截的情况下进行网页导航、★ 119
anansianansi 是一个面向恶意站点的自愈式爬虫工具，旨在解决传统爬虫在面对反爬机制时容易失效的问题。其核心能力包括：自动修复失效的 CSS 选择器，当静态解析失败★ 118
chatgpt-web-scraping这是一个教学型项目，旨在教你如何编写ChatGPT提示词，让ChatGPT生成带正确CSS选择器的网页抓取代码。它解决的是非专业爬虫开发者难以编写复杂选择器的问★ 114
agent-search-mcpagent-search-mcp 是一个免费优先的网页搜索 MCP 服务器，旨在为 AI 智能体提供中英文搜索能力，且无需任何 API 密钥。它通过元搜索聚合多★ 112
opencode-browseropencode-browser 是 OpenCode AI 编辑器的浏览器自动化插件，通过 MCP（Model Context Protocol）把 Chro★ 106
Custom-MCP-ServerCustom-MCP-Server 是一个基于 Python 的 MCP 服务器，旨在为 AI 代理提供社交媒体和搜索引擎的数据抓取能力。它解决了 AI 代理无★ 98
kogiqa-mcpkogiqa-mcp 是一个面向 AI Agent 的浏览器自动化 MCP 服务器，基于 JavaScript 开发，底层使用 Playwright 与无头 C★ 96
Python-AssistantPython-Assistant 是一个基于 Python 3.9+ 的语音命令助手服务，能够识别人类语音、与用户对话并执行基础命令。它解决了用户需要通过语音交★ 92
buabua 是一个基于 Go 的 AI 浏览器自动化框架，允许开发者用自然语言描述任务，由 AI 智能体自动完成点击、填写、导航等浏览器操作。它解决了传统浏览器自动★ 85
JustSearchJustSearch 是一个基于 Chrome 扩展桥接的自主 AI 搜索智能体。它通过浏览器扩展与本地或云端 AI 模型通信，实现迭代式任务规划、真实网页深度★ 58