项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1093
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10 或更高版本
- 一个 AI Studio API Key（可免费试用获赠 1000 credits）
- 可访问公开网页的网络环境
安装与启动步骤
-
1确认 Python 版本
README 要求 Python 3.10 及以上，版本过低需先升级 Python。
python --version -
2安装 SDK
通过 pip 安装官方 oxylabs-ai-studio 包，建议在虚拟环境中执行。
pip install oxylabs-ai-studio -
3获取 API Key
前往 AI Studio 注册页面获取 API Key，免费试用含 1000 credits，用于调用抓取接口。
-
4按流程发起抓取
提供目标网页 URL，用自然语言描述要提取的数据，再选择 JSON 或 Markdown 输出格式。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
AI Studio API Key | 是 | 调用 AI-Scraper 接口的身份凭证，缺失则无法发起抓取 | your-api-key |
如何确认成功
执行一次抓取后能拿到结构化 JSON 或 Markdown 结果，即表示安装与调用成功。
常见问题
Q：没有 API Key 能用吗？
A：不能。必须先拥有 AI Studio API Key，可先注册免费试用，赠送 1000 credits 后再调用。
Q：需要自己写 CSS/XPath 选择器吗？
A：不需要。AI-Scraper 基于自然语言提示词自动识别并解析目标信息，无需维护解析逻辑。
Q：能抓取哪些网页？
A：README 说明适用于任意公开可访问网页，例如电商、新闻、博客等来源。
Q：输出格式怎么选？
A：结构化自动化与 API 场景选 JSON，面向阅读或 AI 工作流选 Markdown。
注意事项
- API Key 属于敏感凭证，请勿提交到代码仓库或公开分享。
- Python 版本低于 3.10 会安装或运行失败，请先升级。
- README 未给出具体调用代码与参数，使用时请参考 AI Studio 官方文档。
核心亮点
- 基于AI Agent的智能抓取，能自动适应网站结构变化，减少手工维护选择器的成本
- 定位为Firecrawl的开源替代，提供可自托管的AI抓取方案，数据隐私可控
- 技术栈覆盖AI搜索、训练、接地等全流程，适合构建端到端的知识获取管道
不足之处
- 项目处于早期阶段（985星），文档和社区生态待观察，生产环境稳定性未验证
- 未明确支持的语言和平台范围，部署和集成门槛可能较高
适用场景
- 大规模多源网页数据采集，用于训练AI模型或构建知识库
- 需要实时监控竞品价格、新闻或社交内容的自动化爬取场景
- 企业内部数据管道中，对抓取结果进行AI清洗和结构化提取
替代项目
Firecrawl、Scrapy、Crawlee
下一篇：headless-browser
同类项目推荐
BrowserSynth
开源
在浏览器里用代码生成三维结构艺术，实时预览并导出渲染
A browser implementation of StructureSynth with more primitives, non-uniform scaling···
gauntlet
开源
用大白话写测试，AI 自动跑并给结果
AI-powered QA testing framework that uses LLMs (Claude or GPT) to test web apps, CLI···
blackdagger
开源
用 DAG 编排 DevOps 与安全自动化，让复杂任务跑得稳
Blackdagger is a DAG based automation tool specifically used in DevOps, DevSecOps, M···
optio
开源
把多个 AI 编码 Agent 编排成流水线，自动接力干活
Workflow orchestration for AI agent swarms.
webdriver-bidi
开源
浏览器自动化双向通信标准的官方说明书
Bidirectional WebDriver protocol for browser automation
invisible_selenium
开源
改一行 import，Selenium 脚本秒变反检测 Firefox
Selenium that anti-bots cannot see, so no captchas: same API, anti-detect stealth he···
n8n-workflow-all-templates
开源
上万 n8n 模板即拿即用，自动化流程不再从零写
12333+N8N Workflow Collection，n8n-workflow-all-templates，Most comprehensive.synchr···
pagesift
开源
把网页和文档洗成干净 Markdown，直接喂给 AI
Self-hosted web scraper, crawler and document parser for AI agents: URLs, PDFs with ···
hatchet
开源
复杂后台任务和 AI 工作流，崩溃也能续跑
An orchestration engine for background tasks, AI agents, and durable workflows