chatgpt-scraper-api

用 ChatGPT 一句话搞定网页结构化数据抓取

开源 🏷️按量计费 🔌 仅提供 API 接口 对话助手 🍴 复刻 2 🐛 待处理 1 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1344
维护状态 低维护
是否开源 开源
定价模式 🏷️按量计费 按API调用量计费，具体价格需查看ScrapingBee官网定价页。

项目预览

chatgpt-scraper-api 项目界面预览图
图片来源：项目官网

项目数据

分类对话助手
开发团队ScrapingBee
官网地址https://www.scrapingbee.com/features/chatgpt
GitHubhttps://github.com/ScrapingBee/chatgpt-scraper-api
定价模式🏷️按量计费
价格说明按API调用量计费，具体价格需查看ScrapingBee官网定价页。
访问状态🔌 仅提供 API 接口
是否开源是
技术栈/模型ai-scraper,api,chat-gpt,chatgpt,chatgpt-api,chatgpt-scraper,llm,llm-scraper,openai-chatgpt,proxy-checker,proxy-scraper,scraping,scraping-api,scraping-python,web-proxy,web-scraping,web-scraping-api,web-scraping-project,web-scraping-python
GitHub 星标★ 1344
上线时间2026-03-12 00:00:00
代码更新2026-07-15
仓库体积23 KB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

chatgpt-scraper-api 是一个基于 ChatGPT 的智能抓取 API 工具，它允许开发者通过简单的 API 调用，利用 ChatGPT 的语义理解能力来解析和提取网页中的结构化数据。该项目解决了传统爬虫规则维护困难、无法处理复杂页面结构的问题，核心能力包括：通过提示词驱动抓取任务，支持实时搜索、注入 HTML 上下文，并能自动执行多步骤的抓取工作流。用户只需提供有效的 ChatGPT API 凭据，即可发送请求并获取结构化的 JSON 响应，无需编写复杂的解析规则。项目还集成了代理检测功能，适合需要大规模抓取或绕过反爬的场景。整体上，它降低了 AI 爬虫的开发门槛，让非专业爬虫工程师也能快速构建智能数据采集应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1344

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门 约 10 分钟 部署方式：库/依赖 3 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

  • Node.js 运行环境（README 使用 npm 安装，需先安装 Node.js）
  • npm 包管理器（随 Node.js 一同安装）
  • 有效的 API 凭据（用于调用抓取服务，README 未给出具体获取步骤）
  • 网络可访问 npm 官方源

安装与启动步骤

  1. 1安装 Node.js

    README 只给出 npm 安装命令，说明项目依赖 Node.js 环境。请先确认本机已装 Node.js，未安装则到官网下载安装。

    node -v

  2. 2安装 SDK

    README 的 Getting Started 仅给出这一条命令，安装官方 scrapingbee SDK 包，在项目目录下执行。

    npm install scrapingbee

  3. 3获取调用凭据

    README 未提供示例代码与凭据配置方式，需自行到服务官网注册并获取 API Key，再按官方文档调用。

如何确认成功

执行 npm ls scrapingbee 能看到已安装的版本号，即说明 SDK 安装成功；README 未提供可运行示例来验证接口调用。

常见问题

Q：README 里有可以直接运行的抓取示例吗？

A：没有。README 的 Getting Started 只包含 npm install scrapingbee 一条命令，其余是能力介绍，示例代码需查阅官方文档。

Q：需要 API Key 吗？

A：README 未写明凭据配置方式，但该工具为托管抓取 API，实际调用通常需要服务方提供的 API Key，请到官网开通后按官方文档使用。

Q：可以用 Python 或其它语言调用吗？

A：README 只演示了 npm 安装方式，未提及其它语言的 SDK 或调用示例，请以官方文档为准。

Q：安装报错找不到包怎么办？

A：确认包名拼写为 scrapingbee，并检查 npm 源是否可访问；公司网络可先配置 npm 代理再重试安装。

注意事项

  • README 属于技术演示型仓库，未提供完整安装、配置和调用示例，实际使用请以 ScrapingBee 官方文档为准。
  • 除 npm install scrapingbee 外，本文档未编造任何命令，遇到问题请查阅官网帮助文档。
  • 抓取他人网站请遵守目标站点 robots.txt 与相关法律法规。

核心亮点

  • 提示词驱动抓取，无需编写正则或 XPath，降低开发门槛
  • 支持实时搜索和 HTML 上下文注入，能处理动态和复杂页面
  • 集成代理检测，便于大规模抓取时管理 IP 池

不足之处

  • 依赖 ChatGPT API 凭据，使用成本较高且受限于 OpenAI 服务稳定性
  • 文档/社区待观察

适用场景

  • 快速采集电商商品信息并生成结构化数据
  • 监控新闻或社交媒体页面内容变化
  • 构建无需维护选择器的通用网页数据提取服务

替代项目

ScrapeGraphAI、Firecrawl、Crawl4AI

上一篇：Semi-Auto-NovelAI-to-Pixiv

下一篇：dailycheckin

同类项目推荐

Data-Copilot 开源

说一句话，让智能体自动跑完海量数据处理流程

Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow

★ 1513 2026-10-23
dailycheckin 开源

一个脚本搞定十几个平台的每日自动签到

基于「Docker」/「青龙面板」/「群晖」的每日签到脚本（支持多账号）签到列表: ｜爱奇艺｜···

★ 8748 2026-08-09
ferret 开源

用声明式语言轻松提取网页数据，告别繁琐爬虫代码。

Declarative data automation language and Go runtime for structured extraction workfl···

★ 6025 2026-08-10
youtube-shorts-pipeline 开源

一键把新闻变成带配音字幕的短视频，自动上传YouTube

Automated YouTube Shorts pipeline: news → script → AI visuals → voiceover → capt···

★ 2364 2026-08-09
zadig 开源

一套平台搞定 CI/CD 与环境发布，开发者自助上线

Zadig: An AI-powered, cloud-native, distributed DevOps platform designed for develop···

★ 3274 2026-10-08
nuphus-mcp 开源

让任意 AI 代理直接操作你的电脑屏幕和浏览器

Desktop automation MCP server — computer use for any AI agent: control screen, wind···

★ 332 2026-08-09
docker-selenium 开源

一行命令拉起多浏览器 Selenium Grid，测试并行跑不停

Provides a simple way to run Selenium Grid with Chrome, Firefox, and Edge using Cont···

★ 8661 2026-09-18
LatteReview 开源

用AI代理自动化文献综述，低代码快速完成系统筛选与提取

This is the repository for the LatteReview python package. LatteReview is a low-code···

★ 126 2026-08-09
cli 开源

说句话让 AI 处理邮件文档，杂活再也不用手动

Google Workspace CLI — one command-line tool for Drive, Gmail, Calendar, Sheets, Do···

★ 32215 2026-08-09