项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3398
使用教程
环境要求
- Python 3.10 或更高版本
- Oxylabs AI Studio API Key(从 aistudio.oxylabs.io 获取)
- 可访问外网以调用 Oxylabs API
安装与启动步骤
-
1安装 SDK
使用 pip 从 PyPI 安装 oxylabs-ai-studio 包,建议在虚拟环境中执行以避免污染全局环境。
pip install oxylabs-ai-studio -
2准备 API Key
登录 aistudio.oxylabs.io 控制台创建并复制 API Key,后续实例化客户端时传入。
-
3运行爬取示例
创建 AiCrawler 实例,传入起始 URL 与自然语言指令,即可得到结构化结果。注意 output_format 为 json/csv/toon 时需提供 schema。
python crawl_example.py -
4运行浏览器智能体
使用 BrowserAgent 让其自动操作网页,可先用 generate_schema 生成字段结构再执行 run。
python browser_agent_example.py
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
api_key | 是 | Oxylabs AI Studio 的访问密钥,实例化客户端时传入 | your-api-key-xxxxxxxx |
url | 是 | 爬取或浏览的起始网址 | https://oxylabs.io |
user_prompt | 是 | 指导数据提取的自然语言指令 | Find all pages with proxy products pricing |
output_format | 否 | 输出格式,默认 markdown | markdown |
schema | 否 | 结构化提取的 JSON Schema,output_format 为 json/csv/toon 时必填 | {"type":"object"} |
geo_location | 否 | 代理地理位置,ISO2 代码或国家全称 | United States |
如何确认成功
运行示例后终端打印出 Results 列表或 result.data,且无鉴权与网络报错,即表示调用成功。
常见问题
Q:没有 API Key 能运行吗?
A:不能,所有功能都需通过 API Key 鉴权,请先在 aistudio.oxylabs.io 注册并创建密钥。
Q:输出 JSON 报错缺少 schema 怎么办?
A:当 output_format 为 json、csv 或 toon 时必须传入 schema,可用 generate_schema 生成或自行定义。
Q:爬取不到 JavaScript 渲染的内容?
A:将 render_javascript 设为 True,让爬取器执行页面脚本后再提取数据。
Q:返回结果太少或太多?
A:调整 return_sources_limit 参数控制返回来源数量,默认值为 25。
注意事项
- Python 版本需 3.10 及以上,低版本会安装失败。
- 示例中的 <API_KEY> 是占位符,必须替换为真实密钥。
- API 调用会消耗账户额度,调试时建议降低 return_sources_limit。
- 涉及代理地理位置时请使用 ISO2 代码或国家规范名称(如 Germany)。
核心亮点
- 提供自然语言驱动的AI爬虫与浏览器自动化,降低数据采集门槛
- 集成代理支持,增强数据抓取的稳定性和匿名性
- 作为Firecrawl的替代方案,具备差异化定位和活跃的社区关注
不足之处
- 文档/社区待观察
适用场景
- 为LLM代理提供实时结构化网页数据
- 通过自然语言指令进行复杂网站的数据抓取与爬取
- 需要代理支持的大规模数据采集场景
替代项目
Firecrawl、Scrapy、Apify
上一篇:writing-agent
下一篇:ai-scraper-py
同类项目推荐
aidevops
开源
让 AI 智能体 24/7 自动搞定代码审查和运维,你只管写代码。
Vibe-Coding is easy. DevOps is hard. OpenCode & Git token-efficient AI agent automat···
pywechat
开源
用 Python 操控 PC 微信,4.0 也能自动发消息
仍然可用的微信RPA!支持4.0系列微信pywechat是一个基于pywinauto实现的windows桌面微信自···
Chaterm
开源
用自然语言操作终端,部署排障一句话搞定
Open source AI terminal for cloud and infrastructure management, enabling you to dep···
sequential-workflow-designer
开源
零依赖拖拽画布,快速搭出可运行的工作流编辑器
Customizable no-code component for building flow-based programming applications or w···
stagehand
开源
用自然语言指挥浏览器,自动抓数据、点页面
The SDK to extract data and interact with any site on the web. Get started with Clau···
chromiumfish
开源
让 Playwright 自动化不被反爬识别,开箱即用
A stealth Chromium build with a drop-in Playwright harness for Python and Node, feat···
LLM4AD_Next
开源
说清问题,自动生成并进化出可用算法
A next-generation automatic algorithm design platform, making automated algorithm de···
Hx0-HawkEye
开源
浏览器里一站式抓包改包、重放与敏感信息检测
面向 Chrome/Firefox 的轻量级浏览器安全工作台:集成抓包、拦截改包、重放/Fuzz、编解码工···
moore-wechat-article-downloader
开源
把公众号文章和评论变成 AI 可用的本地情报库
本地优先的微信内容情报库:同步公众号文章,保存精选评论和互动数据,供 Codex/Claude Co···
