chatgpt-scraper

免费用网页抓取ChatGPT回复,省下API钱

这是一个基于Java的ChatGPT响应采集工具,通过提供提示词和有效的Web Scraper API凭证,即可轻松从ChatGPT网页版抓取回复。它绕过了官方API的付费限制,利用网页抓取技术模拟用户交互,实现免费获取ChatGPT输出。核心能力包括:支持自定义提示词、集成代理池以规避IP封锁、提供简单的API接口供开发者调用。项目解决了开发者需要批量获取ChatGPT回复但受限于API配额或成本的问题,适用于数据采集、内容生成、自动化测试等场景。

开源 pay_as_you_go 对话助手
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 3370
维护状态 较活跃
是否开源 是
定价模式 pay_as_you_go

项目数据

分类对话助手
开发团队oxylabs
所属国家
定价模式pay_as_you_go
价格说明基于Web Scraper API的ChatGPT抓取服务,按API调用量计费,需提供有效凭据,具体价格见官网。
访问状态
是否开源是
开源协议
主要语言Java
技术栈/模型chatgpt,chatgpt-api,chatgpt-free,chatgpt-scraper,llm-scraper,openai-chatgpt,proxy-scraper
GitHub 星标★ 3370
30天Star增速
HF 下载量
上线时间2025-08-26 00:00:00
最近更新2026-09-19 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:入门 约 10 分钟 部署方式:云服务 3 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(README 示例代码为 Python)
  • 已安装 requests 库
  • 有效的 Oxylabs Web Scraper API 凭证(用户名 + 密码)
  • 可访问 data.oxylabs.io 的网络环境

安装与启动步骤

  1. 1注册并获取凭证

    在 Oxylabs Dashboard 注册账号,开通 Web Scraper API 免费试用,取得用于认证的用户名和密码。

  2. 2编写请求脚本

    按 README 示例构造 payload(source 为 chatgpt),向 API 地址发起 POST 请求,把 auth 换成自己的凭证。

    import requests
    from pprint import pprint
    
    payload = {
        'source': 'chatgpt',
        'prompt': 'best supplements for better sleep',
        'parse': True,
        'geo_location': "United States",
        'callback_url': "https://your-server.com/oxylabs-callback"
    }
    
    response = requests.request(
        'POST',
        'https://data.oxylabs.io/v1/queries',
        auth=('USERNAME', 'PASSWORD'),
        json=payload,
    )
    
    pprint(response.json())
  3. 3运行并查看结果

    执行脚本后,API 返回解析好的 JSON,包含对话回复与结构化元数据,无需自己管理代理和浏览器。

关键配置

配置项必填说明示例
source是指定数据源,抓取 ChatGPT 需填 chatgptchatgpt
prompt是要发送给 ChatGPT 的提示词内容best supplements for better sleep
parse否是否返回解析后的结构化 JSON 结果True
geo_location否指定抓取的地理位置,影响返回内容United States
callback_url否异步接收结果的回调地址,需可公网访问https://your-server.com/oxylabs-callback

如何确认成功

脚本成功打印出 JSON 响应,其中包含 ChatGPT 的对话回复内容和结构化元数据即表示调用成功。

常见问题

Q:需要自己准备代理池或浏览器吗?

A:不需要。README 说明由 Web Scraper API 托管代理与浏览器,并规避服务端防御系统,直接调用接口即可。

Q:怎么获得 API 凭证?

A:在 Oxylabs Dashboard 注册即可获取 Web Scraper API 免费试用,注册后拿到用户名和密码用于 auth 认证。

Q:除了 Python 还有别的语言示例吗?

A:README 只给出了 Python 请求示例,并指向项目 GitHub 仓库查看其他编程语言的代码示例。

Q:callback_url 必须填吗?

A:不是必须的,示例中作为可选项给出,填写后会向该地址推送结果;不需要时可以从 payload 中移除。

注意事项

  • 示例中的 USERNAME、PASSWORD 必须替换为你自己的真实凭证,切勿把凭证提交到公开仓库。
  • geo_location 与 callback_url 为可选项,不使用时可从 payload 中删除。
  • README 未提供本地安装或 Docker 部署方式,本工具实质是通过 HTTP 请求调用 Oxylabs Web Scraper API。

核心亮点

  • 无需官方API密钥,通过Web Scraper API即可抓取,降低使用门槛
  • 内置代理支持,可有效规避频率限制和IP封锁
  • Java实现,易于集成到现有Java生态系统中

不足之处

  • 依赖网页结构,ChatGPT页面更新可能导致抓取失效
  • 文档/社区待观察

适用场景

  • 批量生成文本内容用于数据集构建
  • 自动化测试ChatGPT响应逻辑
  • 在无API预算时快速获取ChatGPT输出

替代项目

chatgpt-api、gpt4free、revChatGPT

项目介绍

chatgpt-scraper 是自动化工作流领域的开源项目,由 oxylabs 开发,2025 年首次发布。

在全站 13,109 个收录项目中,它的 GitHub 星标数(3,370)位列前 30%,在自动化工作流分类中处于中上游。

近 42 天,它的 GitHub 星标从 3,260 增加到 3,370,净增 110。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-19。基于Web Scraper API的ChatGPT抓取服务,按API调用量计费,需提供有效凭据,具体价格见官网。从国内网络环境看,可直接访问。

它主要面向的使用场景是:批量生成文本内容用于数据集构建。同类可对比的替代方案包括 chatgpt-api、gpt4free、revChatGPT。

同类项目推荐

n8n 开源

拖拽搭建自动化流程,轻松接入 AI 与 400+ 应用,搞定重复工作。

Fair-code workflow automation platform with native AI capabilities. Combine visual b···

★ 205700 2026-08-10
feishu-docx 开源

让 AI 代理轻松读写飞书文档,双向转换 Markdown

Feishu/Lark Docs、Sheet、Bitable <-> Markdown | AI Agent-friendly knowledge base exp···

★ 262 2026-08-09
robotcode 开源

让 Robot Framework 拥有现代 IDE 体验,调试、补全、运行一气呵成。

Open Source Toolkit for Robot Framework, providing Language Server Protocol support,···

★ 301 2026-08-10
puppeteer 开源

用 JavaScript 轻松操控无头浏览器,搞定自动化测试与网页抓取。

JavaScript API for Chrome and Firefox

★ 95609 2026-08-10