google-ai-mode-scraper

批量抓取 Google AI 回答不封号,数据稳稳到手

该项目专为大规模抓取 Google AI Mode 的响应结果而设计,能够有效绕过反爬限制。对于需要批量获取 AI 搜索生成内容的开发者,它提供了稳定、可扩展的抓取方案,让 AI 搜索数据采集变得简单可靠。

开源 pay_as_you_go 搜索知识
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 3626
维护状态 维护中
是否开源 是
定价模式 pay_as_you_go

项目数据

分类搜索知识
开发团队oxylabs
所属国家
定价模式pay_as_you_go
价格说明Oxylabs Scraper API 按请求量计费,提供免费试用额度,具体价格需官网查询。
访问状态
是否开源是
开源协议
主要语言Java
技术栈/模型ai-grounding,ai-mode,ai-search,ai-training,firecrawl-alternative,google-ai,google-ai-mode,proxy-scrape,scraper-api,search-api,tavily-alternative,web-scraper,web-scraper-api,web-search-api
GitHub 星标★ 3626
30天Star增速
HF 下载量
上线时间2025-09-08 00:00:00
最近更新2026-09-23 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:入门 约 10 分钟 部署方式:云服务 5 步

环境要求

  • Python 环境(需安装 requests 库)
  • Oxylabs 账号:Web Scraper API 的 USERNAME 和 PASSWORD(可注册免费试用)
  • 可访问 https://realtime.oxylabs.io/v1/queries 的网络环境

安装与启动步骤

  1. 1注册获取凭据

    在 Oxylabs dashboard 注册账号申请免费试用,拿到 Web Scraper API 的用户名和密码,后续请求要用。

  2. 2安装 requests 库

    在 Python 环境中安装发起 HTTP 请求所需的 requests 依赖库。

    pip install requests
  3. 3编写请求脚本

    新建 .py 文件,填入 payload 并把 USERNAME、PASSWORD 换成自己的真实凭据。

    import json
    import requests
    
    # API parameters.
    payload = {
        'source': 'google_ai_mode',
        'query': 'best health trackers under $200',
        'render': 'html',
        'parse': True,
        'geo_location': 'United States'
    }
    
    # Get a response.
    response = requests.post(
        'https://realtime.oxylabs.io/v1/queries',
        auth=('USERNAME', 'PASSWORD'),
        json=payload
    )
    
    print(response.json())
  4. 4运行并取回结果

    执行该脚本向接口发送 POST 请求,返回内容即解析后的 Google AI Mode 响应 JSON。

  5. 5调整抓取参数

    按需修改 query 提问内容、geo_location 地区、render 与 parse 选项后重跑脚本。

关键配置

配置项必填说明示例
source是指定抓取目标为 Google AI Mode,固定值不可改google_ai_mode
query是要向 Google AI Mode 发送的提示词/搜索问题best health trackers under $200
geo_location否指定搜索来源地区,影响返回结果的本地化内容United States
render否控制返回渲染形式,示例中使用 htmlhtml
parse否是否由接口直接返回解析后的结构化数据True
USERNAME/PASSWORD是Web Scraper API 认证凭据,需替换为账号真实值USERNAME: my_user / PASSWORD: my_pass

如何确认成功

脚本能正常返回响应,且 body 为 JSON 格式的 Google AI Mode 解析结果,即抓取成功。

常见问题

Q:没有 Oxylabs 账号能用吗?

A:不能。该抓取走 Oxylabs Web Scraper API,需先在 dashboard 注册并获取 USERNAME/PASSWORD,可申请免费试用。

Q:需要自己准备代理或浏览器吗?

A:不需要。API 已代为处理代理、无头浏览器和自动化请求系统,你只需发 POST 请求。

Q:只有 Python 示例吗?

A:README 提供 Python 示例,仓库 Code examples 目录还有更多语言样例可参考。

Q:抓取结果怎么用?

A:可用于 SEO 与 GEO 项目、构建训练数据集,或其他需要 AI 搜索生成内容的数据任务。

Q:返回什么格式的数据?

A:接口以 JSON 格式返回已解析的数据,直接取响应体的 JSON 即可使用。

注意事项

  • README 中 Python 示例的认证部分被截断,请以仓库 Code examples 目录的完整样例为准。
  • 务必把示例里的 USERNAME、PASSWORD 替换成自己的真实凭据,不要直接提交到公开仓库。
  • 抓取需遵守目标网站条款与当地法律法规,仅用于合规的数据采集用途。

核心亮点

  • 专为 Google AI Mode 定制,能绕过大规模抓取限制,稳定性优于通用爬虫方案。
  • 基于 Java 实现,技术栈清晰,集成代理池与 AI 训练数据采集能力,适合构建数据管道。
  • 作为 Firecrawl 替代方案,提供更聚焦的 AI 搜索响应抓取,降低二次开发成本。

不足之处

  • 依赖代理质量,免费代理易失效,需自建代理池或付费服务,增加运维成本。
  • 仅支持 Google AI Mode 单一目标,若目标平台变更或封禁策略升级,需频繁适配。
  • 文档/社区待观察

适用场景

  • 大规模采集 Google AI Mode 搜索结果用于大模型训练数据构建。
  • 构建 AI 搜索竞品分析或舆情监控系统,需实时获取 AI 摘要内容。
  • 作为 Firecrawl 等通用抓取工具的补充,专门处理 AI 搜索响应格式。

替代项目

Firecrawl、Scrapy、Apify

项目介绍

google-ai-mode-scraper 是搜索知识领域的开源项目,由 oxylabs 开发,2025 年首次发布。

在全站 13,109 个收录项目中,它的 GitHub 星标数(3,626)位列前 30%,在搜索知识分类的 586 个项目里位列前 13%。

近 42 天,它的 GitHub 星标从 3,534 增加到 3,626,净增 92。

项目仍在小幅维护中,最近一次代码更新于 2026-09-23。Oxylabs Scraper API 按请求量计费,提供免费试用额度,具体价格需官网查询。从国内网络环境看,可直接访问。

它主要面向的使用场景是:大规模采集GoogleAIMode搜索结果用于大模型训练数据构建。同类可对比的替代方案包括 Firecrawl、Scrapy、Apify。

上一篇:Scrapegraph-ai

下一篇:swirl-search

同类项目推荐

firecrawl 开源

网页抓取像喝水一样简单,开发者省下整周加班

The web data API to search, scrape, and interact at scale.

★ 183325 2026-08-09
contoso-chat 开源

一键跑通 Azure RAG 应用,从代码到评估部署全流程

This sample has the full End2End process of creating RAG application with Prompty an···

★ 766 2026-08-09
graphify 开源

整个代码库画成一张图,找问题一眼定位

Turn any codebase, with its docs, SQL schemas, configs, and PDFs, into a queryable k···

★ 120493 2026-08-09
WeKnora 开源

文档往里一扔,自动变成啥都能答的知识库

Open-source LLM knowledge platform: turn raw documents into a queryable RAG, an auto···

★ 28895 2026-08-09