crawlee

环境要求

• Node.js 16 或更高版本
• npm 包管理器（随 Node.js 一起安装）
• 建议准备一个自己的 Node.js 项目目录用于引入 Crawlee
• 如需浏览器抓取，需能正常下载 Playwright 浏览器依赖（网络可达 npm）

安装与启动步骤

1. 1检查 Node 版本

   Crawlee 明确要求 Node.js 16 或更高，版本过低需先升级 Node 再继续。

   node -v

   复制

2. 2安装依赖包

   Crawlee 不自带 Playwright，示例使用 PlaywrightCrawler，因此两个包要一起安装。

   npm install crawlee playwright

   复制

3. 3编写爬虫脚本

   新建脚本文件（如 crawlee.js）粘贴示例代码：抓取 crawlee.dev 并保存页面标题。

   import { PlaywrightCrawler, Dataset } from 'crawlee';
   
   // PlaywrightCrawler 使用 Playwright 控制的无头浏览器抓取网页
   const crawler = new PlaywrightCrawler({
       // requestHandler 处理每一个被抓取的页面
       async requestHandler({ request, page, enqueueLinks, log }) {
           const title = await page.title();
           log.info(`Title of ${request.loadedUrl} is '${title}'`);
   
           // 结果以 JSON 形式保存到 ./storage/datasets/default
           await Dataset.pushData({ title, url: request.loadedUrl });
   
           // 提取当前页面的链接并加入抓取队列
           await enqueueLinks();
       },
       // 取消注释可看到浏览器窗口（默认无头运行）
       // headless: false,
   });
   
   // 加入首个 URL 并启动抓取
   await crawler.run(['https://crawlee.dev']);

   复制

4. 4运行脚本

   README 未给出运行命令，按 Node.js 常规方式运行该脚本文件，观察控制台日志输出。

   node crawlee.js

   复制

5. 5试用预发布版本

   想提前验证新特性或修复，可安装每次合并代码后自动构建的 beta 版本。

   npm install crawlee@next

   复制

关键配置

如何确认成功

脚本运行后日志打印 Title of is '...'，且当前目录 ./storage/datasets/default 下生成结果 JSON 文件。

常见问题

注意事项

• Crawlee 是一个库而非独立服务，必须写入自己的 Node.js 项目后由代码调用。
• 默认数据目录为当前工作目录下的 ./storage，可通过 Crawlee 配置覆盖，细节见官方 Configuration 指南。
• README 未提供启动命令，本文按 Node.js 常规方式运行脚本，实际以你的项目配置为准。
• 若同时使用 Apify SDK，记得在 package.json 中按 README 示例配置 overrides，避免多版本 Crawlee 并存。